[论文解读] Extending Deep Knowledge Tracing: Inferring Interpretable Knowledge and Predicting Post-System Performance

Richard Scruggs, Ryan S. Baker+1 more|arXiv (Cornell University)|Oct 14, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 29被引用 4

一句话总结

本文将深度知识追踪（DKT）和动态键值记忆网络（DKVMN）扩展至可推断可解释的学生知识状态，通过将知识估计整合到序列建模中，实现了对后测表现的相关性提升，优于贝叶斯知识追踪（BKT）和绩效因子分析（PFA）。结果表明，学习到的知识表征比传统知识追踪模型更能预测长期学习成果。

ABSTRACT

Recent student knowledge modeling algorithms such as Deep Knowledge Tracing (DKT) and Dynamic Key-Value Memory Networks (DKVMN) have been shown to produce accurate predictions of problem correctness within the same learning system. However, these algorithms do not attempt to directly infer student knowledge. In this paper we present an extension to these algorithms to also infer knowledge. We apply this extension to DKT and DKVMN, resulting in knowledge estimates that correlate better with a posttest than knowledge estimates from Bayesian Knowledge Tracing (BKT), an algorithm designed to infer knowledge, and another classic algorithm, Performance Factors Analysis (PFA). We also apply our extension to correctness predictions from BKT and PFA, finding that knowledge estimates produced with it correlate better with the posttest than BKT and PFA's standard knowledge estimates. These findings are significant since the primary aim of education is to prepare students for later experiences outside of the immediate learning activity.

研究动机与目标

• 为了解决现有深度学习模型（如DKT和DKVMN）的局限性，这些模型仅预测正确性，而无法推断学生知识状态。
• 提升模型预测的知识与通过后测衡量的实际学生学习成果之间的对齐程度。
• 将贝叶斯知识追踪（BKT）和绩效因子分析（PFA）扩展为具备知识推断能力，以增强其预测有效性。
• 评估基于深度学习模型推断出的知识估计是否比标准BKT和PFA的知识估计与后测表现具有更强的相关性。

提出的方法

• 作者通过在序列编码器之上引入一个知识推断头，对DKT和DKVMN进行修改，使其在预测正确性的同时输出可解释的知识估计。
• 知识推断头使用可微分注意力机制，将隐藏状态映射为知识状态向量，从而实现连续且可解释的知识表征。
• 知识估计通过联合训练的方式端到端进行优化，损失函数结合了正确性预测和知识状态预测的多任务损失。
• 模型联合优化以最小化正确性的二元交叉熵损失和知识状态估计的均方误差损失。
• 通过与后测分数对比评估知识估计的预测有效性。
• 该方法亦被应用于BKT和PFA，将其标准知识估计替换为新的基于深度学习的推断机制。

实验结果

研究问题

• RQ1 能否将DKT和DKVMN等深度学习模型扩展，以在预测正确性之外推断出可解释的学生知识状态？
• RQ2 DKT和DKVMN推断出的知识估计是否比标准BKT和PFA的知识估计与后测表现具有更强的相关性？
• RQ3 将相同的知识推断机制应用于BKT和PFA是否能提升其知识估计与后测结果的相关性？
• RQ4 在深度学习模型中集成知识推断是否能实现比传统知识追踪模型更优的长期学习成果预测？

主要发现

• 扩展后的DKT和DKVMN模型生成的知识估计与后测表现的相关性高于BKT和PFA的标准知识估计。
• 扩展模型的知识估计在预测后测分数方面优于BKT和PFA，表明其与实际学习成效的对齐程度更高。
• 当将相同的知识推断机制应用于BKT和PFA时，其知识估计与后测表现的相关性相比原始形式得到提升。
• 正确性预测与知识状态估计的多任务学习设置，产生了更稳健且可解释的知识表征。
• 结果表明，深度学习模型可有效适配为推断知识状态，且这种推断方式兼具可解释性与对长期学习成果的预测能力。
• 本研究为知识推断作为序列建模在教育系统中的重要扩展提供了实证证据，尤其在预测即时学习环境之外的表现方面具有显著价值。