[论文解读] EduBERT: Pretrained Deep Language Models for Learning Analytics

Benjamin Clavié, Kobi Gal|arXiv (Cornell University)|Dec 2, 2019

Topic Modeling参考文献 10被引用 19

一句话总结

EduBERT 引入了一种基于 BERT 的领域特定语言模型，该模型在多种在线课程的学生论坛数据上进行了微调，以增强学习分析能力。它在教育领域的三项文本分类任务中实现了最先进（SOTA）的性能表现，蒸馏版本在计算成本更低的情况下也取得了相近的结果，且两个模型均已公开发布，供研究使用。

ABSTRACT

The use of large pretrained neural networks to create contextualized word embeddings has drastically improved performance on several natural language processing (NLP) tasks. These computationally expensive models have begun to be applied to domain-specific NLP tasks such as re-hospitalization prediction from clinical notes. This paper demonstrates that using large pretrained models produces excellent results on common learning analytics tasks. Pre-training deep language models using student forum data from a wide array of online courses improves performance beyond the state of the art on three text classification tasks. We also show that a smaller, distilled version of our model produces the best results on two of the three tasks while limiting computational cost. We make both models available to the research community at large.

研究动机与目标

• 开发一种专用于教育文本数据的深度语言模型，特别是在线课程中的学生论坛帖子。
• 通过领域特定的预训练，提升常见学习分析任务（如文本分类）的性能。
• 通过知识蒸馏技术降低计算成本，同时保持高性能，从而创建一个更小、更高效的模型变体。
• 公开发布完整版和蒸馏版模型，以支持教育 NLP 领域的可复现性与进一步研究。

提出的方法

• 在来自多个在线课程的大规模学生论坛帖子集合上预训练一个基于 BERT 的模型。
• 在三项不同的学习分析文本分类任务上微调预训练模型：学生回答分类、情感分析和主题分类。
• 应用知识蒸馏技术，将完整模型压缩为更小、更快的变体，同时保持性能。
• 在预训练过程中使用掩码语言建模和下一句预测目标，以学习上下文相关的词表示。
• 使用标准指标（如 F1 分数和准确率）在保留的测试集上评估性能。
• 以开放许可证发布完整版和蒸馏版模型，以支持社区复用与扩展。

实验结果

研究问题

• RQ1 在学生论坛数据上微调的大规模预训练语言模型是否能在学习分析的文本分类任务中超越现有方法？
• RQ2 将知识蒸馏应用于教育 NLP 模型时，其对性能和效率的影响如何？
• RQ3 与通用领域预训练相比，对教育文本进行领域特定预训练在多大程度上能提升下游任务的性能？
• RQ4 更小的蒸馏版模型是否能在显著降低计算需求的情况下实现具有竞争力的结果？

主要发现

• EduBERT 在三项学习分析文本分类任务中实现了最先进（SOTA）的性能表现，在 F1 分数和准确率方面均优于先前方法。
• EduBERT 的蒸馏版本在三项任务中的两项取得了最佳结果，表明模型压缩并未损害性能。
• 与通用领域预训练相比，在领域特定的学生论坛数据上进行微调能显著提升教育 NLP 任务的性能。
• 完整版和蒸馏版模型均已公开发布，为教育数据科学领域的更广泛应用和可复现性研究提供了支持。