[论文解读] Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory

Chun-Kit Yeung|arXiv (Cornell University)|Apr 26, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 19被引用 75

一句话总结

Deep-IRT 将 DKVMN 与项目反应理论相结合，在保留预测能力的同时，提供随时间变化的可解释的学生能力和题目难度估计。

ABSTRACT

Deep learning based knowledge tracing model has been shown to outperform traditional knowledge tracing model without the need for human-engineered features, yet its parameters and representations have long been criticized for not being explainable. In this paper, we propose Deep-IRT which is a synthesis of the item response theory (IRT) model and a knowledge tracing model that is based on the deep neural network architecture called dynamic key-value memory network (DKVMN) to make deep learning based knowledge tracing explainable. Specifically, we use the DKVMN model to process the student's learning trajectory and estimate the student ability level and the item difficulty level over time. Then, we use the IRT model to estimate the probability that a student will answer an item correctly using the estimated student ability and the item difficulty. Experiments show that the Deep-IRT model retains the performance of the DKVMN model, while it provides a direct psychological interpretation of both students and items.

研究动机与目标

• 推动需要可解释的基于深度学习的知识追踪模型的需求。
• 提出将 DKVMN 与基于 IRT 的概率模型相结合，以产生可解释的参数。
• 证明 Deep-IRT 在保持 DKVMN 性能的同时，提供心理学意义上的可解释性。
• 分析学习到的学生能力和题目难度相对于传统度量的情况。
• 展示将深度学习与心理测量模型相结合的潜在更广泛适用性。

提出的方法

• 使用 DKVMN 处理学习轨迹并提取潜在的 KC 与知识状态表征。
• 用学生能力网络和 KC 难度网络来增强 DKVMN，以产生 theta_tj 和 beta_j。
• 应用一个一参数 IRT 概率函数 p_t = sigma(3.0 * theta_tj - beta_j) 来预测正确率。
• 使用 Adam 优化和标准深度学习做法（嵌入矩阵、记忆矩阵）以交叉熵损失进行训练。
• 在多个公开和专有数据集上将 Deep-IRT 与 DKVMN、DKT 和 PFA 进行比较。
• 通过将深度特征映射到随时间变化的心理测量参数（能力和难度）来提供可解释性。

实验结果

研究问题

• RQ1 Deep-IRT 模型是否能在提供可解释的 theta（能力）和 beta（难度）水平的同时，保留 DKVMN 模型的预测性能？
• RQ2 Deep-IRT 估计的题目难度和学生能力与传统 IRT/题项分析度量以及其他 KT 基线相比如何？
• RQ3 深度学习与 IRT 的组合是否能够在不影响关键 KT 指标（AUC、准确率、损失）的前提下，在多样化数据集上提供可解释性？
• RQ4 在学习轨迹中学习到的知识组件难度轨迹有什么含义？

主要发现

• Deep-IRT 在跨数据集上实现的预测性能与 DKVMN 相当，通常可匹配或超过准确率和 AUC。
• Deep-IRT 提供的学生能力和 KC 难度的可解释估计与传统方法如 IRT 和题项分析相一致。
• 在各数据集上，Deep-IRT 的难度估计与外部难度度量相关，且与原始模型输出在预期的方式上存在差异。
• 该模型在保留 DKVMN 优势的同时，为学生和题目提供直接的心理学解释。
• 分析表明在 DKT 中观察到的重建问题也在 Deep-IRT 中持续存在，与之前的 KT 发现一致。
• 实验表明 Deep-IRT 可以作为使用完整学习历史的 KC 难度的替代轨迹估计器。