[论文解读] Empirical Evaluation of Deep Learning Models for Knowledge Tracing: Of Hyperparameters and Metrics on Performance and Replicability
本研究对深度学习知识追踪（DLKT）模型进行了严格的实证评估，对比了包括DKT、LSTM-DKT、DKVMN和SAKT在内的多种架构与基线模型（如BKT和逻辑回归）。研究发现，模型性能在很大程度上受超参数、输入/输出设计及评估指标选择的影响，其影响程度甚至超过模型架构本身；同时，由于预处理不一致、随机种子和框架版本差异，研究复现面临挑战。
New knowledge tracing models are continuously being proposed, even at a pace where state-of-theart<br> models cannot be compared with each other at the time of publication. This leads to a situation<br> where ranking models is hard, and the underlying reasons of the models’ performance – be it architectural<br> choices, hyperparameter tuning, performance metrics, or data – is often underexplored. In this<br> work, we review and evaluate a body of deep learning knowledge tracing (DLKT) models with openly<br> available and widely-used data sets, and with a novel data set of students learning to program. The<br> evaluated knowledge tracing models include Vanilla-DKT, two Long Short-Term Memory Deep Knowledge<br> Tracing (LSTM-DKT) variants, two Dynamic Key-Value Memory Network (DKVMN) variants,<br> and Self-Attentive Knowledge Tracing (SAKT). As baselines, we evaluate simple non-learning models,<br> logistic regression and Bayesian Knowledge Tracing (BKT). To evaluate how different aspects of DLKT<br> models influence model performance, we test input and output layer variations found in the compared<br> models that are independent of the main architectures. We study maximum attempt count options, including<br> filtering out long attempt sequences, that have been implicitly and explicitly used in prior studies.<br> We contrast the observed performance variations against variations from non-model properties such as<br> randomness and hardware. Performance of models is assessed using multiple metrics, whereby we also<br> contrast the impact of the choice of metric on model performance. The key contributions of this work are<br> the following: Evidence that DLKT models generally outperform more traditional models, but not necessarily<br> by much and not always; Evidence that even simple baselines with little to no predictive value<br> may outperform DLKT models, especially in terms of accuracy – highlighting importance of selecting<br> proper baselines for comparison; Disambiguation of properties that lead to better performance in DLKT<br> models including metric choice, input and output layer variations, common hyperparameters, random<br> seeding and hardware; Discussion of issues in replicability when evaluating DLKT models, including<br> discrepancies in prior reported results and methodology. Model implementations, evaluation code, and<br> data are published as a part of this work.
研究动机与目标
- 评估最先进深度学习知识追踪（DLKT）模型在多个数据集和评估指标下的性能。
- 探究超参数、模型架构变体以及非模型因素（如随机种子、硬件）对DLKT性能的影响。
- 通过重新实现模型并对比原始报告结果，评估先前DLKT研究的可复现性。
- 与DLKT模型相比，评估非深度学习基线模型（如BKT、逻辑回归）的有效性。
- 识别并记录先前研究中在数据预处理、模型实现和报告结果方面存在的不一致之处。
提出的方法
- 基于原始论文中的代码和描述，重新实现了七种DLKT模型（原始DKT、LSTM-DKT变体、DKVMN变体、SAKT）以及两种非DLKT基线模型（BKT、GLR）。
- 在七个数据集上评估模型，包括六个公开可用的数据集和一个全新的学生编程学习数据集。
- 系统性地改变输入/输出层设计（如独热编码与嵌入输入、按技能维度输出与标量输出层），以评估架构影响。
- 测试超参数敏感性，包括最大尝试次数过滤策略（无过滤、截断、拆分），并评估随机种子和硬件对性能的影响。
- 使用七种评估指标（AUC、准确率、F1、MCC等）评估模型性能，并分析指标依赖的排名变化。
- 通过一致的预处理、超参数搜索和随机种子控制报告结果，以确保可复现性并实现公平比较。
实验结果
研究问题
- RQ1RQ1：在多种评估指标下，DLKT模型与基线模型及非深度学习KT模型的性能表现如何？
- RQ2RQ2：DLKT模型在原始研究中评估的相同和不同数据集上的表现如何？先前报告结果的一致性如何？
- RQ3RQ3：模型架构、超参数以及非模型因素（如随机种子、硬件、框架版本）的变化对DLKT模型性能有何影响？
- RQ4RQ4：不同评估指标如何影响模型排名和超参数调优结果？
- RQ5RQ5：先前DLKT研究中观察到的实证性能提升，有多少源于超参数调优而非新型模型架构？
主要发现
- DLKT模型通常优于传统模型（如BKT），但性能差距往往较小；在某些情况下，简单的基线模型（如逻辑回归（GLR）或均值模型）在准确率和F1-score上甚至优于DLKT模型。
- 评估指标的选择显著影响模型排名：在AUC上排名靠前的模型在准确率或F1上未必表现最佳，表明指标选择对性能解读具有决定性影响。
- 超参数调优，特别是最大尝试次数过滤（如拆分或截断长序列），产生了明显影响——AUC最高提升达4.6个百分点，凸显其在模型评估中的重要性。
- 架构变体（如输入嵌入与独热编码、输出层设计：按技能维度 vs. 标量输出）对性能的影响最高可达AUC 4.6个百分点，表明设计选择与模型架构本身同等重要。
- 非模型因素（如硬件和机器学习框架版本）总体影响较小，但在某些情况下导致指标差异超过0.5个百分点，提示潜在的可复现性风险。
- 复现问题普遍存在：报告的数据集大小不一致，且模型描述与实现之间存在差异（如DKVMN架构不一致），表明先前结果可能更多源于调优而非新型架构。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。