[论文解读] Deep Knowledge Tracing

Chris Piech, Jonathan Bassen+5 more|arXiv (Cornell University)|Jun 19, 2015

Intelligent Tutoring Systems and Adaptive Learning参考文献 27被引用 628

一句话总结

本文提出深度知识追踪（DKT），一种基于循环神经网络（RNN）的模型，能够从交互数据中学习学生知识状态及其时间动态，而无需依赖专家标注的概念。DKT在基准数据集上的AUC指标相比先前最先进方法提升了25%，并能自主发现潜在知识结构与习题关系，从而实现无需人工标注概念的智能课程设计。

ABSTRACT

Knowledge tracing---where a machine models the knowledge of a student as they interact with coursework---is a well established problem in computer supported education. Though effectively modeling student knowledge would have high educational impact, the task has many inherent challenges. In this paper we explore the utility of using Recurrent Neural Networks (RNNs) to model student learning. The RNN family of models have important advantages over previous methods in that they do not require the explicit encoding of human domain knowledge, and can capture more complex representations of student knowledge. Using neural networks results in substantial improvements in prediction performance on a range of knowledge tracing datasets. Moreover the learned model can be used for intelligent curriculum design and allows straightforward interpretation and discovery of structure in student tasks. These results suggest a promising new line of research for knowledge tracing and an exemplary application task for RNNs.

研究动机与目标

• 开发一种机器学习模型，以准确预测学生在未来教育交互中的表现。
• 克服传统知识追踪模型的局限，如依赖手工编码的马尔可夫模型和知识的二值化表示。
• 在无需专家标注概念的前提下，实现潜在知识结构与习题依赖关系的自动发现。
• 通过学习基于预测学生知识增长的最优习题序列，支持智能课程设计。
• 证明深度学习模型能够有效建模教育数据中复杂、时变的学习动态。

提出的方法

• 该模型使用深层循环神经网络（RNN）将学生的潜在知识状态表示为随时间演变的高维向量。
• 输入序列由习题标签和正确性响应组成，每项交互均编码为向量。
• RNN逐步处理序列，通过更新隐藏状态反映知识的动态演变，并预测下一项习题的正确响应概率。
• 通过大规模学生交互数据上的时间反向传播，端到端训练模型参数。
• 基于隐藏状态转移，利用学习到的影响函数推断习题间的条件依赖关系。
• 在真实世界数据集（可汗学院和Assistments）上评估模型，并与贝叶斯知识追踪（BKT）及其他基线方法进行比较。

实验结果

研究问题

• RQ1 深度RNN模型能否在预测学生未来习题表现方面超越传统的贝叶斯知识追踪（BKT）？
• RQ2 该模型能否在不依赖专家标注概念的前提下，发现有意义的潜在知识结构与习题关系？
• RQ3 该模型在通过智能习题排序生成改进教育课程方面，其适用程度如何？
• RQ4 该模型在具有复杂非线性学习模式的真实教育数据集上，泛化能力如何？
• RQ5 该模型的内部表征能否揭示可解释且具有教育意义的习题间依赖关系？

主要发现

• 在Assistments基准测试中，DKT相比最佳先前结果，AUC相对提升了25%，证明其具有更优的预测性能。
• 在合成数据中，该模型在无任何专家标注的前提下成功学习到潜在概念聚类，展示了知识结构的自主发现能力。
• 在可汗学院数据集中，该模型揭示了8年级数学习题之间连贯且可解释的关系，包括双向依赖与概念聚类。
• 模型学习到的影响图显示，即使相隔多个交互，同一概念的习题仍可能存在条件依赖，表明其具备稳健的时间建模能力。
• DKT生成的课程在模拟的马尔可夫决策过程（MDP）设置中优于基线策略，以更少的习题实现更高的预测知识增长。
• 该模型表明，RNN能够有效建模教育数据中复杂、非马尔可夫性学习动态，超越传统的一阶马尔可夫模型。