[论文解读] How deep is knowledge tracing?

Mohammad Khajah, Robert Lindsey+1 more|arXiv (Cornell University)|Mar 14, 2016

Reinforcement Learning in Robotics参考文献 27被引用 89

一句话总结

本文研究了深度知识追踪（DKT）为何在学生表现预测中优于贝叶斯知识追踪（BKT）。通过在BKT中引入文献中已提出的遗忘机制、潜在学生能力以及技能发现机制，其性能与DKT无显著差异，表明DKT的优势源于统计灵活性，而非深度表征学习。

ABSTRACT

In theoretical cognitive science, there is a tension between highly structured models whose parameters have a direct psychological interpretation and highly complex, general-purpose models whose parameters and representations are difficult to interpret. The former typically provide more insight into cognition but the latter often perform better. This tension has recently surfaced in the realm of educational data mining, where a deep learning approach to predicting students' performance as they work through a series of exercises---termed deep knowledge tracing or DKT---has demonstrated a stunning performance advantage over the mainstay of the field, Bayesian knowledge tracing or BKT. In this article, we attempt to understand the basis for DKT's advantage by considering the sources of statistical regularity in the data that DKT can leverage but which BKT cannot. We hypothesize four forms of regularity that BKT fails to exploit: recency effects, the contextualized trial sequence, inter-skill similarity, and individual variation in ability. We demonstrate that when BKT is extended to allow it more flexibility in modeling statistical regularities---using extensions previously proposed in the literature---BKT achieves a level of performance indistinguishable from that of DKT. We argue that while DKT is a powerful, useful, general-purpose framework for modeling student learning, its gains do not come from the discovery of novel representations---the fundamental advantage of deep learning. To answer the question posed in our title, knowledge tracing may be a domain that does not require `depth'; shallow models like BKT can perform just as well and offer us greater interpretability and explanatory power.

研究动机与目标

• 理解DKT在学生学习建模中相对于BKT的性能优势来源。
• 探究DKT的成功是否源于深度表征学习，还是源于对数据中统计规律的利用。
• 评估是否可通过现有、可解释的增强方法，将BKT扩展以匹配DKT的性能。
• 评估教育数据挖掘中预测性能与模型可解释性之间的权衡。
• 确定高性能知识追踪是否必须依赖深度学习，还是仅通过增加灵活性的结构化模型即可实现。

提出的方法

• 提出DKT所利用但经典BKT未捕捉的四种统计规律：新近效应、情境化试误序列、技能间相似性以及个体能力差异。
• 通过三种广为人知的增强方法扩展BKT：遗忘（用于建模新近效应）、潜在学生能力（用于建模个体差异）以及技能发现（用于推断技能-练习映射）。
• 在三个数据集（Assistments、Khan Academy（合成数据）、Statics）上训练增强版BKT模型，必要时使用MCMC进行推断。
• 使用AUC作为主要指标，将增强版BKT模型的预测性能与DKT进行比较。
• 以一个通用循环神经网络（RNN）作为DKT基线，使用相同数据进行训练，且未进行任何领域特定的架构修改。
• 在不同数据集上评估模型性能，以判断各项增强在不同情境下的有效性。

实验结果

研究问题

• RQ1 DKT利用了哪些经典BKT未能捕捉的学生学习数据中的统计规律？
• RQ2 是否可以通过不依赖深度表征学习的方式，增强BKT以匹配DKT的预测性能？
• RQ3 BKT的哪些具体扩展——遗忘、潜在能力或技能发现——在不同数据集中最为有效？
• RQ4 DKT的性能提升是源于表征发现，还是源于对数据规律更灵活的建模？
• RQ5 在知识追踪模型中，为换取性能提升，可解释性在多大程度上被牺牲？

主要发现

• 当结合遗忘、潜在学生能力与技能发现增强后，BKT在所有三个数据集（Assistments、Synthetic、Statics）上的预测性能与DKT无显著差异。
• DKT的性能优势并非源于深度表征学习，而是源于其对新近效应和个体差异等统计规律的建模能力。
• 在Assistments数据集中，遗忘机制是最关键的增强，使BKT能够捕捉新近效应。
• 在Synthetic数据集中，技能发现带来了最大的性能提升，这在真实技能映射未知时符合预期。
• 在Statics数据集中，建模潜在学生能力提供了最显著的改进，有助于分离学生能力与练习难度。
• 尽管DKT性能优异，但其参数几乎无法解释；而增强版BKT模型通过遗忘率、学生能力等有意义的参数，仍保持了心理可解释性。