[论文解读] A Self-Attentive model for Knowledge Tracing

Shalini Pandey, George Karypis|arXiv (Cornell University)|Jul 16, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 9被引用 189

一句话总结

SAKT 使用自注意力来识别用于预测学生下一个回答的相关过去练习（知识点），在现有KT模型之上取得更好表现，并且比基于RNN的方法训练速度更快。

ABSTRACT

Knowledge tracing is the task of modeling each student's mastery of knowledge concepts (KCs) as (s)he engages with a sequence of learning activities. Each student's knowledge is modeled by estimating the performance of the student on the learning activities. It is an important research area for providing a personalized learning platform to students. In recent years, methods based on Recurrent Neural Networks (RNN) such as Deep Knowledge Tracing (DKT) and Dynamic Key-Value Memory Network (DKVMN) outperformed all the traditional methods because of their ability to capture complex representation of human learning. However, these methods face the issue of not generalizing well while dealing with sparse data which is the case with real-world data as students interact with few KCs. In order to address this issue, we develop an approach that identifies the KCs from the student's past activities that are extit{relevant} to the given KC and predicts his/her mastery based on the relatively few KCs that it picked. Since predictions are made based on relatively few past activities, it handles the data sparsity problem better than the methods based on RNN. For identifying the relevance between the KCs, we propose a self-attention based approach, Self Attentive Knowledge Tracing (SAKT). Extensive experimentation on a variety of real-world dataset shows that our model outperforms the state-of-the-art models for knowledge tracing, improving AUC by 4.43% on average.

研究动机与目标

• 将 KT 的动机定位于从交互序列中预测学生对知识概念的掌握程度。
• 通过聚焦少量相关的过去交互而非整个历史来解决 KT 的数据稀疏问题。
• 提出一种基于自注意力的 KT 模型，用于识别相关的过去练习以预测未来表现。
• 并证明基于注意力的相关性能带来更好的预测性能并比基于 RNN 的 KT 模型具有更快的训练速度。

提出的方法

• 将过去的交互和练习进行嵌入，以形成输入表示。
• 应用位置编码以捕捉序列顺序。
• 使用多头缩放点积自注意力来计算过去交互与当前练习之间的相关性。
• 在注意力计算中通过屏蔽未来交互来引入因果性。
• 将关注后的表示通过带残差连接和层归一化的前馈网络，然后用 sigmoid 输出预测下一个回答。
• 通过最小化对观测到的下一个回答的二元交叉熵损失进行训练。

实验结果

研究问题

• RQ1 一个基于自注意力的 KT 模型是否能在多样化的数据集上超越前沿 KT 模型（DKT、DKT+、DKVMN）？
• RQ2 自注意力是否能够有效识别并利用最相关的过去练习来预测下一个回答，尤其是在数据稀疏环境下？
• RQ3 在保持或提高准确性的同时，所提架构的训练速度是否明显快于基于 RNN 的 KT 模型？
• RQ4 注意力权重在揭示练习（知识点）与学生表现之间关系方面有多可解释？

主要发现

• SAKT 在所有数据集上的平均 AUC 提升 4.43 个百分点，超过最先进的 KT 方法。
• 在合成数据上，SAKT 的 AUC 为 0.832，而 DKT+ 为0.824，当概念在单一序列内清晰相关时，显示出强劲性能。
• 在 ASSIST2009 上，SAKT 的 AUC 为 0.848，而 0.848（DKT+ 并列）及其他为 0.820–0.829，显示出改进。
• 在 ASSIST2015 上，SAKT 实现 AUC 0.854，相对于基线（如竞争者的 0.736–0.737）有显著提升。
• 在 ASSISTChall 和 STATICS 上，SAKT 耗合基线方法，STATICS 上实现显著提升（0.853 对比 0.814–0.835）。
• SAKT 的训练显著快于基于 RNN 的模型（例如在 Titan V GPU 上每轮 1.4 秒，而 DKT+ 为 65 秒，DKT 为 45 秒）。
• 注意力可视化揭示潜在概念的聚类以及练习之间的相关性，体现模型学习到的可解释关系。