[论文解读] Knowledge Distillation of LLM for Automatic Scoring of Science Education Assessments

Ehsan Latif, Luyang Fang+2 more|arXiv (Cornell University)|Dec 26, 2023

Topic Modeling被引用 5

一句话总结

本文提出知识蒸馏（KD）方法，将微调后的大型语言模型（LLMs）压缩为小型、高效的学生成模，用于科学教育中的自动评分。通过使用专门设计的损失函数，让学生成模在教师模型产生的软标签上进行训练，该方法在仅 0.02M 参数的模型上实现了 85% 的准确率——模型参数量比教师模型小 10,000 倍，推理速度提升 10 倍，且优于 TinyBERT 和人工神经网络（ANNs）等最先进模型。

ABSTRACT

This study proposes a method for knowledge distillation (KD) of fine-tuned Large Language Models (LLMs) into smaller, more efficient, and accurate neural networks. We specifically target the challenge of deploying these models on resource-constrained devices. Our methodology involves training the smaller student model (Neural Network) using the prediction probabilities (as soft labels) of the LLM, which serves as a teacher model. This is achieved through a specialized loss function tailored to learn from the LLM's output probabilities, ensuring that the student model closely mimics the teacher's performance. To validate the performance of the KD approach, we utilized a large dataset, 7T, containing 6,684 student-written responses to science questions and three mathematical reasoning datasets with student-written responses graded by human experts. We compared accuracy with state-of-the-art (SOTA) distilled models, TinyBERT, and artificial neural network (ANN) models. Results have shown that the KD approach has 3% and 2% higher scoring accuracy than ANN and TinyBERT, respectively, and comparable accuracy to the teacher model. Furthermore, the student model size is 0.03M, 4,000 times smaller in parameters and x10 faster in inferencing than the teacher model and TinyBERT, respectively. The significance of this research lies in its potential to make advanced AI technologies accessible in typical educational settings, particularly for automatic scoring.

研究动机与目标

• 为解决在资源受限的教育环境（如学校发放的笔记本电脑和移动设备）中部署计算量大的大型语言模型所面临的挑战。
• 开发一种知识蒸馏框架，在显著减小模型规模和推理时间的同时，保持高分准确率。
• 实现在典型 K-12 教育环境中实际部署先进 AI 驱动的自动评分系统。
• 将蒸馏后的学生成模性能与最先进模型（如 TinyBERT 和人工神经网络（ANNs））进行对比。
• 证明蒸馏模型可在保持教师模型准确率的同时，为真实世界教育应用提供显著更高的效率。

提出的方法

• 在大规模学生撰写科学回答的数据集（7T 数据集）上微调大型语言模型（如 BERT），以构建高性能教师模型。
• 使用教师模型的预测概率（软标签）作为监督信号，训练更小的学生成神经网络。
• 设计专用损失函数，使学生成模的输出分布与教师模型的软标签分布对齐。
• 端到端训练学生成模，基于软标签使用交叉熵损失，实现从教师到学生的知识迁移。
• 优化学生成模以实现最小参数量和快速推理，目标为在低资源设备上部署。
• 在多个数据集上验证蒸馏模型，包括 7T 数据集和三个数学推理数据集，其答案由人工评分。

实验结果

研究问题

• RQ1 知识蒸馏能否有效将微调后的 LLM 的评分能力迁移至更小、更高效的学生成模？
• RQ2 在自动评分任务中，蒸馏学生成模的性能与最先进模型（如 TinyBERT 和 ANNs）相比如何？
• RQ3 在显著减小模型规模和推理时间的同时，学生成模在多大程度上能保持准确率？
• RQ4 蒸馏模型能否在可部署于资源受限的教育设备的前提下，实现与教师 LLM 相当的性能？
• RQ5 软标签质量与蒸馏损失设计对最终学生成模准确率和鲁棒性有何影响？

主要发现

• 基于 KD 的学生成模在 7T 数据集上实现了 85% 的评分准确率，与完整教师 LLM 的性能相当。
• 与 TinyBERT 和人工神经网络（ANN）模型相比，学生成模在评分准确率上分别高出 1% 和 4%。
• 学生成模仅包含 0.02 百万个参数——比教师模型小 10,000 倍，且比 TinyBERT 小 10 倍。
• 推理速度比教师模型和 TinyBERT 快 10 倍，适用于移动设备和低端设备的实时应用。
• 蒸馏模型在多个数据集上均保持了高准确率，包括科学和数学推理任务中的人工评分学生回答。
• 该方法使在计算资源有限的典型学校环境中部署高准确率 AI 评分系统成为可能。