[论文解读] Do we need to go Deep? Knowledge Tracing with Big Data

Varun Mandalapu, Jiaqi Gong+1 more|arXiv (Cornell University)|Jan 20, 2021

Intelligent Tutoring Systems and Adaptive Learning参考文献 21被引用 5

一句话总结

本研究在包含9300万条学生交互记录的EdNet——目前最大规模的公开教育数据集上评估了知识追踪模型。研究发现，即使在大规模数据集上，通过项目反应理论和表现历史精心设计的逻辑回归模型，其性能仍优于深度学习模型（如DKT和SAKT），凸显了在当前教育数据环境下，特征工程的价值仍高于模型深度。

ABSTRACT

Interactive Educational Systems (IES) enabled researchers to trace student knowledge in different skills and provide recommendations for a better learning path. To estimate the student knowledge and further predict their future performance, the interest in utilizing the student interaction data captured by IES to develop learner performance models is increasing rapidly. Moreover, with the advances in computing systems, the amount of data captured by these IES systems is also increasing that enables deep learning models to compete with traditional logistic models and Markov processes. However, it is still not empirically evident if these deep models outperform traditional models on the current scale of datasets with millions of student interactions. In this work, we adopt EdNet, the largest student interaction dataset publicly available in the education domain, to understand how accurately both deep and traditional models predict future student performances. Our work observes that logistic regression models with carefully engineered features outperformed deep models from extensive experimentation. We follow this analysis with interpretation studies based on Locally Interpretable Model-agnostic Explanation (LIME) to understand the impact of various features on best performing model pre-dictions.

研究动机与目标

• 评估深度学习模型在大规模教育交互数据上的知识追踪任务中是否优于传统模型。
• 探究基于专家设计特征的逻辑回归与复杂深度学习架构之间的相对性能表现。
• 利用LIME解释单个特征对模型预测的贡献，以获得可操作的洞察。
• 评估如DKT和SAKT等深度模型在包含数百万条交互记录的数据集上的可扩展性与泛化能力。

提出的方法

• 本研究采用EdNet KT1，即目前最大规模的公开学生交互数据集，包含来自607,000名学生的9300万条交互记录。
• 将基于手工特征（如项目反应理论（IRT）参数、技能正确率、尝试/成功次数）训练的逻辑回归模型，与包括DKT和SAKT在内的深度学习模型进行比较。
• 通过保留测试集上的AUC评估模型性能，由于计算资源限制，逻辑回归模型在50,000名学生的子集上进行训练。
• 应用LIME对局部预测进行解释，分析单个技能和交互模式如何影响预测结果。
• 通过将局部LIME解释与技能难度（正确率）相关联，评估特征重要性，揭示模型行为中的模式。

实验结果

研究问题

• RQ1 在大规模教育数据集上，如DKT和SAKT等深度学习模型是否在知识追踪任务中优于传统逻辑回归模型？
• RQ2 基于教育理论（如IRT、PFA）的手工设计特征，与原始交互序列相比，在预测学生表现方面表现如何？
• RQ3 技能难度（以正确率衡量）对模型预测的影响是什么？这种影响在特征重要性中如何体现？
• RQ4 基于LIME的局部解释能否揭示特征对模型预测贡献的有意义模式？

主要发现

• 基于IRT特征的逻辑回归模型在EdNet的50,000名学生子集上实现了0.73的AUC，优于所有深度学习模型。
• 当在完整607,000名学生的数据集上训练时，DKT模型性能下降，表明其在大规模数据上存在可扩展性差或过拟合的问题。
• 基于学生成功（正确答案）和尝试历史的特征预测能力较低，这一点在排除项目相关特征后PFA的AUC仅为0.66中得到证实。
• LIME分析显示，最难的技能（正确率最低）具有负的局部重要性，表明其与正确预测相矛盾——这可能是由于表现不一致所致。
• 表现最佳模型的预测结果主要受IRT参数和技能正确率影响，而非原始交互序列。