[论文解读] Application of Deep Self-Attention in Knowledge Tracing

Junhao Zeng, Zhang Qing-chun+2 more|arXiv (Cornell University)|May 17, 2021

Intelligent Tutoring Systems and Adaptive Learning参考文献 18被引用 12

一句话总结

本文提出深度自注意力知识追踪（DSAKT），一种基于Transformer的模型，通过在解码器中应用双多头注意力机制，更好地捕捉学生学习序列中的长距离依赖关系。在PTA数据集上，DSAKT相较于SAKT和DKT平均提升AUC 2.1%，在具有重复练习特征的密集型编程学习数据上表现出更优性能。

ABSTRACT

The development of intelligent tutoring system has greatly influenced the way students learn and practice, which increases their learning efficiency. The intelligent tutoring system must model learners' mastery of the knowledge before providing feedback and advices to learners, so one class of algorithm called "knowledge tracing" is surely important. This paper proposed Deep Self-Attentive Knowledge Tracing (DSAKT) based on the data of PTA, an online assessment system used by students in many universities in China, to help these students learn more efficiently. Experimentation on the data of PTA shows that DSAKT outperforms the other models for knowledge tracing an improvement of AUC by 2.1% on average, and this model also has a good performance on the ASSIST dataset.

研究动机与目标

• 提升编程教育智能辅导系统中的知识追踪准确性。
• 解决基于RNN的模型（如DKT）和基于注意力的模型（如SAKT）在PTA提供的密集型、重复练习数据上的局限性。
• 在编程练习中常见的“先错后对”响应模式场景下，更有效地建模学生对知识概念的掌握程度。
• 利用自注意力机制实现更优的序列建模，并相比RNN获得更快的训练速度。

提出的方法

• DSAKT采用编码器-解码器Transformer架构，解码器的多头注意力层共享权重，以保持序列中关系建模的一致性。
• 输入表示通过可学习嵌入将习题ID与响应标签结合，使用响应偏置将响应信号与知识概念分离。
• 编码器通过多头自注意力机制、前馈网络、残差连接和层归一化处理学生交互序列。
• 解码器两次应用多头注意力并共享权重：首次作用于解码器输入，第二次作用于编码器输出，实现上下文感知的预测。
• 最终预测层通过Sigmoid激活的线性变换输出对下一题回答正确的概率。
• 模型训练通过Adam优化器和Noam学习率调度，最小化真实响应与预测概率之间的二元交叉熵损失。

实验结果

研究问题

• RQ1 在密集型、以编程为重点的学习数据上，基于自注意力的模型是否能超越基于RNN的模型和标准注意力模型的知识追踪性能？
• RQ2 在重复练习场景中，解码器中应用共享权重的双注意力机制在建模学生知识进展方面有何改进作用？
• RQ3 所提出的DSAKT模型在不同稀疏度的数据集（如PTA和ASSIST数据集）上具有多大程度的泛化能力？
• RQ4 与DKT和SAKT相比，使用多头注意力结合残差连接和层归一化是否能显著提升AUC性能？

主要发现

• 在PTA数据集上，DSAKT相较于SAKT平均提升AUC 2.1%，各子数据集的增益范围为1.37%至3.10%。
• 在Pintia 3上，DSAKT的AUC达到0.764，显著优于SAKT（0.741）和DKT（0.737）。
• 在ASSIST2009（0.769 vs. 0.761）和ASSIST2012（0.748 vs. 0.737）上，DSAKT的AUC均高于SAKT，表明其在稀疏数据集上也具备良好的泛化能力。
• 由于自注意力层具有可并行化特性，DSAKT的训练速度约为基于RNN的DKT的十倍。
• 注意力权重可视化显示，模型能有效关注相关知识概念和先前交互，尤其在“先错后对”序列中表现突出。