[논문 리뷰] Knowledge Distillation of LLM for Automatic Scoring of Science Education Assessments

Ehsan Latif, Luyang Fang외 2명|arXiv (Cornell University)|2023. 12. 26.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 과학 교육에서 자동 채점에 사용하기 위해 미세조정된 대규모 언어 모델(Large Language Models, LLMs)을 지식 증류(Knowledge Distillation, KD)를 통해 작고 효율적인 학생 모델로 압축하는 방법을 제안한다. 특수한 손실 함수를 사용해 LLM 교사 모델의 소프트 레이블을 기반으로 학생 모델을 훈련시킴으로써, 0.02M 파라미터를 가진 모델로 85%의 정확도를 달성하였으며, 이는 교사 모델 대비 10,000배 작고 10배 빠른 성능을 보이며, TinyBERT나 인공신경망(ANNs)과 같은 최신 기술을 초월한다.

ABSTRACT

This study proposes a method for knowledge distillation (KD) of fine-tuned Large Language Models (LLMs) into smaller, more efficient, and accurate neural networks. We specifically target the challenge of deploying these models on resource-constrained devices. Our methodology involves training the smaller student model (Neural Network) using the prediction probabilities (as soft labels) of the LLM, which serves as a teacher model. This is achieved through a specialized loss function tailored to learn from the LLM's output probabilities, ensuring that the student model closely mimics the teacher's performance. To validate the performance of the KD approach, we utilized a large dataset, 7T, containing 6,684 student-written responses to science questions and three mathematical reasoning datasets with student-written responses graded by human experts. We compared accuracy with state-of-the-art (SOTA) distilled models, TinyBERT, and artificial neural network (ANN) models. Results have shown that the KD approach has 3% and 2% higher scoring accuracy than ANN and TinyBERT, respectively, and comparable accuracy to the teacher model. Furthermore, the student model size is 0.03M, 4,000 times smaller in parameters and x10 faster in inferencing than the teacher model and TinyBERT, respectively. The significance of this research lies in its potential to make advanced AI technologies accessible in typical educational settings, particularly for automatic scoring.

연구 동기 및 목표

• 학교에서 발급하는 노트북이나 모바일 기기 등 자원이 제한된 교육 환경에서 대규모이고 계산 비용이 큰 LLM을 구현하는 데 도전하는 데에 대비하기 위해.
• 모델 크기와 추론 시간을 크게 줄이면서도 높은 채점 정확도를 유지하는 지식 증류 프레임워크를 개발하기 위해.
• 일반적인 K-12 교육 환경에서 실용적으로 구동 가능한 고급 AI 기반 자동 채점 시스템을 구현하기 위해.
• 최신 기술인 TinyBERT와 인공신경망(ANNs)과 비교하여 증류된 학생 모델의 성능을 평가하기 위해.
• 증류된 모델가 교사 모델의 정확도를 유지하면서도 실생활 교육 응용에 훨씬 더 효율적인지 입증하기 위해.

제안 방법

• 학습된 대규모 언어 모델(예: BERT)을 학생들이 작성한 과학적 답변의 대규모 데이터셋(7T 데이터셋)에 대해 미세조정하여 고성능의 교사 모델을 생성한다.
• 교사 모델의 예측 확률(소프트 레이블)을 supervision 신호로 사용하여 더 작은 학생 신경망을 훈련시킨다.
• 학생 모델의 출력 분포를 교사 모델의 소프트 레이블과 일치시키기 위해 특수한 손실 함수를 설계한다.
• 소프트 레이블 기반의 교차 엔트로피 손실을 사용해 학생 모델을 엔드 투 엔드로 훈련시킴으로써 교사에서 학생으로 지식 전이를 가능하게 한다.
• 최소한의 파라미터와 빠른 추론을 위해 학생 모델을 최적화하며, 자원이 제한된 기기에서의 배포를 목표로 한다.
• 7T 및 인간이 채점한 답안이 포함된 세 개의 수학적 추론 데이터셋을 포함한 여러 데이터셋에서 증류된 모델의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 지식 증류가 미세조정된 LLM의 채점 능력을 훨씬 더 작은 효율적인 학생 모델로 효과적으로 전이할 수 있는가?
• RQ2 자동 채점 작업에서 증류된 학생 모델의 성능은 TinyBERT나 ANNs와 같은 최신 기술 모델과 비교해 어떻게 되는가?
• RQ3 학생 모델가 모델 크기와 추론 시간을 줄이면서도 정확도를 얼마나 유지할 수 있는가?
• RQ4 증류된 모델가 자원이 제한된 교육 기기에서 배포 가능한 동시에 교사 LLM 수준의 성능을 달성할 수 있는가?
• RQ5 소프트 레이블의 품질과 증류 손실 함수 설계가 최종 학생 모델의 정확도와 강건성에 어떤 영향을 미치는가?

주요 결과

• KD 기반의 학생 모델은 7T 데이터셋에서 85%의 채점 정확도를 달성하였으며, 이는 전체 교사 LLM의 성능과 동일하다.
• 학생 모델은 각각 1%와 4%의 정확도 향상으로 TinyBERT 및 인공신경망(ANN) 모델을 앞서며 성능을 뛰어넘었다.
• 학생 모델의 파라미터 수는 단지 0.02백만 개이며, 교사 모델 대비 10,000배 작고, TinyBERT보다도 10배 작다.
• 추론 속도는 교사 모델과 TinyBERT보다 각각 10배 더 빠르며, 모바일 및 저사양 기기에서 실시간 응용에 적합하다.
• 다양한 데이터셋에서 높은 정확도를 유지하였으며, 과학 및 수학적 추론 분야의 인간 채점된 학생 답변을 포함한 데이터셋에서도 성능이 우수했다.
• 이 방법은 계산 자원이 제한된 일반적인 학교 환경에서 고정확도 AI 채점 시스템을 구현할 수 있도록 한다.