[论文解读] Back to the Basics: Bayesian extensions of IRT outperform neural networks for proficiency estimation

Kevin H. Wilson, Yan Karklin+2 more|arXiv (Cornell University)|Apr 8, 2016

Intelligent Tutoring Systems and Adaptive Learning参考文献 16被引用 64

一句话总结

本文评估了贝叶斯扩展的项目反应理论（IRT）与深度知识追踪（DKT）——一种循环神经网络模型——在学生能力估计方面的表现。研究发现，基于IRT的模型，尤其是分层IRT变体，在三个数据集上始终优于或匹配DKT，展现出更优的性能、可解释性以及计算可处理性，尤其在细粒度内容层级上表现突出。

ABSTRACT

Estimating student proficiency is an important task for computer based learning systems. We compare a family of IRT-based proficiency estimation methods to Deep Knowledge Tracing (DKT), a recently proposed recurrent neural network model with promising initial results. We evaluate how well each model predicts a student's future response given previous responses using two publicly available and one proprietary data set. We find that IRT-based methods consistently matched or outperformed DKT across all data sets at the finest level of content granularity that was tractable for them to be trained on. A hierarchical extension of IRT that captured item grouping structure performed best overall. When data sets included non-trivial autocorrelations in student response patterns, a temporal extension of IRT improved performance over standard IRT while the RNN-based method did not. We conclude that IRT-based models provide a simpler, better-performing alternative to existing RNN-based models of student interaction data while also affording more interpretability and guarantees due to their formulation as Bayesian probabilistic models.

研究动机与目标

• 比较贝叶斯IRT扩展与深度知识追踪（DKT）在预测学生响应表现方面的性能。
• 评估结构化概率模型（如IRT）是否能在教育数据建模中超越深度学习方法。
• 研究分层项目分组结构与时间依赖性对能力估计的影响。
• 评估DKT与IRT模型在细粒度内容层级上的计算可行性与可扩展性。
• 通过在清洗后的数据上重新评估，解决先前报告中DKT性能的不一致问题，特别是关于重复响应的影响。

提出的方法

• 使用学生能力与项目难度的正态先验，训练了一参数IRT模型（1PO），采用贝叶斯后验估计。
• 通过引入项目分组结构，扩展IRT为分层模型（HIRT），利用共享项目特征提升性能。
• 开发了时间IRT模型（TIRT），通过建模序列交互中的性能变化，捕捉响应模式的时间自相关性。
• 采用长短期记忆（LSTM）网络实现DKT，基于先前响应序列预测学生正确性。
• 对IRT模型使用最大后验估计（MAP），对DKT使用随机梯度下降，并在所有数据集上进行交叉验证。
• 应用数据清洗流程，包括去重，以确保公平比较，并避免在线预测任务中的过拟合。

实验结果

研究问题

• RQ1 贝叶斯扩展的IRT是否在多种教育数据集上优于DKT，以预测未来的学生响应？
• RQ2 引入分层项目分组结构如何影响基于IRT模型的预测性能？
• RQ3 学生响应模式中的时间自相关性在多大程度上提升模型性能？IRT或DKT模型从这种结构中受益更多？
• RQ4 为何先前报告中DKT在ASSISTments上的性能增益被高估？数据清洗如何影响这一比较？
• RQ5 在教育应用中，结构化贝叶斯模型（如IRT）是否能提供优于深度学习模型（如DKT）的可解释性与计算效率？

主要发现

• 分层IRT（HIRT）模型在所有三个数据集上均取得最佳总体性能，优于标准IRT与DKT。
• 基于IRT的模型在所有数据集上均匹配或超越DKT的性能，即使DKT在包含重复数据的原始数据上训练，这在以往研究中曾虚增其AUC表现。
• 在Knewton数据集中，由于存在显著的时间自相关性，时间IRT（TIRT）模型显著优于标准IRT，而DKT未表现出类似增益。
• DKT在细粒度内容层级上的计算开销过大，尤其在大型数据集（KDD与专有Knewton数据集）上，而IRT模型则能有效扩展。
• 表现最佳的IRT模型（HIRT）同时使用了项目与组标识符，表明结构化的领域知识可提升预测准确性。
• 在去除重复数据后重新评估显示，DKT声称相比先前模型提升20个百分点AUC的优势在统计上不成立，削弱了其性能主张。