[论文解读] Assessment Modeling: Fundamental Pre-training Tasks for Interactive Educational Systems

Youngduck Choi, Youngnam Lee+10 more|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 34被引用 11

一句话总结

本文提出评估建模（Assessment Modeling），一种用于交互式教育系统的新型预训练框架，通过双向Transformer编码器预测具有教学意义的学生交互特征（如正确性与响应及时性）。通过从交互序列中掩码并预测这些评估特征，该方法在标签稀缺任务（如考试成绩与评论正确性预测）上显著提升下游性能，相比基于内容的预训练方法，平均绝对误差（MAE）降低最高达21.96%。

ABSTRACT

Like many other domains in Artificial Intelligence (AI), there are specific tasks in the field of AI in Education (AIEd) for which labels are scarce and expensive, such as predicting exam score or review correctness. A common way of circumventing label-scarce problems is pre-training a model to learn representations of the contents of learning items. However, such methods fail to utilize the full range of student interaction data available and do not model student learning behavior. To this end, we propose Assessment Modeling, a class of fundamental pre-training tasks for general interactive educational systems. An assessment is a feature of student-system interactions which can serve as a pedagogical evaluation. Examples include the correctness and timeliness of a student's answer. Assessment Modeling is the prediction of assessments conditioned on the surrounding context of interactions. Although it is natural to pre-train on interactive features available in large amounts, limiting the prediction targets to assessments focuses the tasks' relevance to the label-scarce educational problems and reduces less-relevant noise. While the effectiveness of different combinations of assessments is open for exploration, we suggest Assessment Modeling as a first-order guiding principle for selecting proper pre-training tasks for label-scarce educational problems.

研究动机与目标

• 为解决教育人工智能中标签稀缺的问题，其中考试成绩或评论正确性等关键结果获取成本高昂。
• 开发一种利用丰富学生交互数据提升下游教育预测任务性能的预训练方法。
• 提出评估建模作为一项基础预训练任务，超越静态内容特征，建模学生的学习行为。
• 通过实证验证，聚焦于评估的基于交互的预训练相较于仅基于内容的预训练能取得更优性能。

提出的方法

• 该方法使用深层双向Transformer编码器建模学生交互序列，包括练习ID、类别、正确性及响应时间等特征。
• 在预训练阶段，随机掩码部分评估特征（如正确性、及时性），并基于上下文预测这些特征。
• 掩码策略受BERT的掩码语言建模启发，但引入不对称性：被预测的特征可为被掩码特征的子集，而被掩码特征本身又可为时间步上可用特征的子集。
• 预训练完成后，将模型的最后层替换为针对下游任务（如考试成绩或评论正确性预测）的特定任务头。
• 整个模型在目标任务的标注数据上进行微调，以利用预训练阶段学习到的丰富表征。
• 该方法在EdNet上进行评估，该数据集为来自Santa移动学习应用的1.31亿条学生响应的大型数据集。

实验结果

研究问题

• RQ1 在学生交互的评估特征上进行预训练，能否提升在标签稀缺的下游教育预测任务上的性能？
• RQ2 与Word2Vec、BERT和QuesNet等基于内容的预训练方法相比，评估建模在下游性能上表现如何？
• RQ3 在预训练目标中包含不同评估组合（如正确性+及时性 vs. 仅正确性）会产生何种影响？
• RQ4 为何某些评估组合会产生反直觉结果，例如及时性虽具直观相关性却导致性能下降？

主要发现

• 与无预训练的模型相比，评估建模在考试成绩预测任务中将平均绝对误差（MAE）降低了21.96%。
• 与无预训练的基线模型相比，评估建模在评论正确性预测任务中AUC提升了6.99%。
• 与最先进基于内容的预训练方法相比，评估建模在相同任务中实现了13.34%的MAE降低和4.26%的AUC提升。
• 该方法在所有评估的下游任务中均优于所有基线模型，包括BERT和QuesNet。
• 在预训练中将及时性作为预测目标，导致考试成绩预测的MAE上升了2.77%，与直觉相悖，凸显了任务设计的复杂性。
• 结果表明，将预训练重点放在评估特征而非内容上，能为标签稀缺的教育人工智能任务生成更有效的表征。