[论文解读] LANA: Towards Personalized Deep Knowledge Tracing Through Distinguishable Interactive Sequences

Yuhao Zhou, Xihua Li+4 more|arXiv (Cornell University)|Apr 21, 2021

Intelligent Tutoring Systems and Adaptive Learning参考文献 35被引用 9

一句话总结

该论文提出 LANA，一种个性化深度知识追踪模型，通过学生相关特征提取器（SRFE）从交互序列中提取学生特定特征，以增强 DKT。它利用枢轴模块根据这些特征自适应地重新配置解码器，并采用具有可解释性的 Rasch 模型进行分层学习，以按能力对学生进行聚类，在 EdNet 上相比 SOTA 方法提升 AUC 1.46%，在 RAIEd2020 上提升 1.00%。

ABSTRACT

In educational applications, Knowledge Tracing (KT), the problem of accurately predicting students' responses to future questions by summarizing their knowledge states, has been widely studied for decades as it is considered a fundamental task towards adaptive online learning. Among all the proposed KT methods, Deep Knowledge Tracing (DKT) and its variants are by far the most effective ones due to the high flexibility of the neural network. However, DKT often ignores the inherent differences between students (e.g. memory skills, reasoning skills, ...), averaging the performances of all students, leading to the lack of personalization, and therefore was considered insufficient for adaptive learning. To alleviate this problem, in this paper, we proposed Leveled Attentive KNowledge TrAcing (LANA), which firstly uses a novel student-related features extractor (SRFE) to distill students' unique inherent properties from their respective interactive sequences. Secondly, the pivot module was utilized to dynamically reconstruct the decoder of the neural network on attention of the extracted features, successfully distinguishing the performance between students over time. Moreover, inspired by Item Response Theory (IRT), the interpretable Rasch model was used to cluster students by their ability levels, and thereby utilizing leveled learning to assign different encoders to different groups of students. With pivot module reconstructed the decoder for individual students and leveled learning specialized encoders for groups, personalized DKT was achieved. Extensive experiments conducted on two real-world large-scale datasets demonstrated that our proposed LANA improves the AUC score by at least 1.00% (i.e. EdNet 1.46% and RAIEd2020 1.00%), substantially surpassing the other State-Of-The-Art KT methods.

研究动机与目标

• 为解决深度知识追踪（DKT）中缺乏个性化的问题，DKT 对所有学生一视同仁，尽管学生在学习特质上存在个体差异。
• 使 DKT 模型能够通过捕捉学生从交互序列中获得的独特、随时间变化的学习特征，实现对个体学生的自适应建模。
• 通过学习利用提炼的学生相关特征重新参数化解码器，克服为每位学生单独训练模型的不切实际性。
• 通过使用可解释的 Rasch 模型对学生按能力水平聚类，提升模型泛化能力和可解释性。

提出的方法

• 学生相关特征提取器（SRFE）从每位学生在时间 $ t_i $ 附近的交互序列中提炼其内在学生属性（如记忆与推理能力）。
• 枢轴模块基于提取的学生相关特征的注意力，动态重新配置解码器的参数，实现针对具体实例的模型自适应。
• 分层学习将专用编码器分配给由可解释的 Rasch 模型导出的能力水平聚类的学生群体，从而增强特征重要性并提高训练效率。
• 该模型将 SRFE、枢轴模块和分层学习整合为统一框架，知识状态通过 $ h_t^{s_i} \sim g(h_{<t}^{s_i}, I_{<t}^{s_i}) $ 更新，预测结果为 $ r_t^{s_i} \sim f(p_t^{s_i})(h_t^{s_i}) $，其中 $ p_t^{s_i} \sim k(h_t^{s_i}) $。
• 该框架通过基于注意力的自适应和能力水平聚类进行端到端训练，实现在无需为每位学生单独训练模型的前提下实现个性化预测。

实验结果

研究问题

• RQ1 能否从学生的交互序列中有效提取其特有的学习特征，以提升 DKT 中的个性化程度？
• RQ2 深度学习模型如何在不为每位学生单独训练模型的前提下，动态调整其解码器以适应个体学生？
• RQ3 通过可解释的 Rasch 模型对学生按能力水平聚类，能否增强特征表示和模型性能？
• RQ4 SRFE、枢轴模块与分层学习的组合相比 SOTA 方法，在知识追踪中提升 AUC 的程度如何？

主要发现

• 在 EdNet 数据集上，LANA 实现 AUC 0.8059，相比之前 SOTA 方法提升 1.46%。
• 在 RAIEd2020 数据集上，LANA 相比最强基线模型提升 AUC 1.00%。
• 消融实验表明，当与基线模型结合时，枢轴模块（PM）贡献了近 1.25% 的性能提升，表明其在个性化中起关键作用。
• 仅分层学习（LL）组件即可提升性能 0.2%，表明其通过更优的特征学习减少了学生间固有的能力差距。
• t-SNE 可视化结果证实，LANA 成功地随时间对学生的特征进行聚类，揭示了不同的学习路径并提升了特征的可区分性。
• LANA 中单个学生的特征轨迹随时间呈现出清晰且连贯的演变，表明模型能够捕捉动态变化的知识状态与学习进展。