[論文レビュー] Empirical Evaluation of Deep Learning Models for Knowledge Tracing: Of Hyperparameters and Metrics on Performance and Replicability

Sami Sarsa, Juho Leinonen+1 more|arXiv (Cornell University)|Dec 30, 2021

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本研究では、DKT、LSTM-DKT、DKVMN、SAKTといったアーキテクチャを、BKT やロジスティック回帰といったベースラインと比較して、深層学習知識トレーシング（DLKT）モデルのきめ細やかな経験的評価を実施した。モデルの性能は、アーキテクチャよりも、ハイパーパramータ、入力/出力設計、評価指標の選択に強く影響を受けることが判明した。また、前処理の不一致、ランダムシード、フレームワークのバージョンの違いによる再現性の課題も浮き彫りにされた。

ABSTRACT

New knowledge tracing models are continuously being proposed, even at a pace where state-of-theart<br> models cannot be compared with each other at the time of publication. This leads to a situation<br> where ranking models is hard, and the underlying reasons of the models’ performance – be it architectural<br> choices, hyperparameter tuning, performance metrics, or data – is often underexplored. In this<br> work, we review and evaluate a body of deep learning knowledge tracing (DLKT) models with openly<br> available and widely-used data sets, and with a novel data set of students learning to program. The<br> evaluated knowledge tracing models include Vanilla-DKT, two Long Short-Term Memory Deep Knowledge<br> Tracing (LSTM-DKT) variants, two Dynamic Key-Value Memory Network (DKVMN) variants,<br> and Self-Attentive Knowledge Tracing (SAKT). As baselines, we evaluate simple non-learning models,<br> logistic regression and Bayesian Knowledge Tracing (BKT). To evaluate how different aspects of DLKT<br> models influence model performance, we test input and output layer variations found in the compared<br> models that are independent of the main architectures. We study maximum attempt count options, including<br> filtering out long attempt sequences, that have been implicitly and explicitly used in prior studies.<br> We contrast the observed performance variations against variations from non-model properties such as<br> randomness and hardware. Performance of models is assessed using multiple metrics, whereby we also<br> contrast the impact of the choice of metric on model performance. The key contributions of this work are<br> the following: Evidence that DLKT models generally outperform more traditional models, but not necessarily<br> by much and not always; Evidence that even simple baselines with little to no predictive value<br> may outperform DLKT models, especially in terms of accuracy – highlighting importance of selecting<br> proper baselines for comparison; Disambiguation of properties that lead to better performance in DLKT<br> models including metric choice, input and output layer variations, common hyperparameters, random<br> seeding and hardware; Discussion of issues in replicability when evaluating DLKT models, including<br> discrepancies in prior reported results and methodology. Model implementations, evaluation code, and<br> data are published as a part of this work.

研究の動機と目的

• 複数のデータセットと評価指標を用いて、最先端の深層学習知識トレーシング（DLKT）モデルの性能を評価すること。
• ハイパーパramータ、モデルアーキテクチャの変種、および非モデル要因（例：ランダムシード、ハードウェア）がDLKT性能に与える影響を調査すること。
• 元の論文の実装コードと記述をもとに再実装し、元の報告との比較を通じて、先行DLKT研究の再現性を評価すること。
• DLKTモデルと比較して、非深層学習ベースライン（例：BKT、ロジスティック回帰）の有効性を評価すること。
• 先行研究におけるデータ前処理、モデル実装、報告結果の不整合を特定し、文書化すること。

提案手法

• 元の論文のコードと記述をもとに、7つのDLKTモデル（バニラ-DKT、LSTM-DKTの変種、DKVMNの変種、SAKT）と2つの非-DLKTベースライン（BKT、GLR）を再実装した。
• 6つの公開データセットに加え、プログラミングを学ぶ学生のデータを含む1つの新規データセットを含む、合計7つのデータセットでモデルを評価した。
• 入力/出力レイヤー設計の変更（例：ワンホット vs. エンベッディング入力、スキルごとの出力層 vs. スカラー出力層）を体系的に行い、アーキテクチャの影響を評価した。
• ハイパーパramータの感度をテストし、最大試行回数フィルタリング（フィルタなし、カット、スプリット）を含み、ランダムシードとハードウェアの影響を評価した。
• AUC、正解率、F1スコア、MCCなど7つの評価指標を用いてモデル性能を評価し、指標依存の順位シフトを分析した。
• 再現性を確保し、公平な比較を可能にするために、一貫した前処理、ハイパーパramータサーチ、ランダムシードの制御を報告した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 複数の指標において、DLKTモデルはナイーブベースラインおよび非深層学習KTモデルと比べてどのように性能を発揮するか？
• RQ2 RQ2: DLKTモデルは、元の評価と同一のデータセットおよび異なるデータセットで、どのように性能を発揮するか？また、先行報告との間で結果はどれほど一貫しているか？
• RQ3 RQ3: モデルアーキテクチャ、ハイパーパramータ、および非モデル要因（例：ランダムシード、ハードウェア、フレームワークバージョン）の変化が、DLKTモデル性能に与える影響は何か？
• RQ4 RQ4: 異なる評価指標は、モデル順位付けとハイパーパramータチューニングの結果にどのように影響を与えるか？
• RQ5 RQ5: 以前のDLKT研究における実証的性能向上は、新規アーキテクチャの貢献よりも、ハイパーパramータチューニングによるものである可能性はどの程度か？

主な発見

• DLKTモデルは一般的にBKTのような伝統的なモデルを上回るが、性能の差はしばしば小さく、一部のケースでは、単純なベースライン（GLR や平均モデル）が正解率やF1スコアでDLKTモデルを上回ることもあった。
• 評価指標の選択がモデル順位に顕著な影響を与える：AUCで上位にランクされたモデルが、正解率やF1スコアでは上位でないことは、指標選択が性能解釈を左右することを示している。
• ハイパーパramータチューニング、特に最大試行回数フィルタリング（例：長時間のシーケンスをスプリットまたはカット）が顕著な影響を及ぼした。AUCで最大4.6ポイントの向上が確認され、評価における重要性が浮き彫りになった。
• 入力エンベッディング vs. ワンホットエンコーディング、出力レイヤー設計（スキルごと vs. スカラー出力）といったアーキテクチャの変更が、AUCで最大4.6ポイントの性能差をもたらした。これは、アーキテクチャの選択と同等に、設計選択が重要であることを示している。
• 非モデル要因（ハードウェア、機械学習フレームワークのバージョン）は全体的に影響が小さかったが、一部のケースで0.5ポイント以上の差が生じ、再現性のリスクを示唆している。
• 再現性の問題が広く見られた：報告されたデータセットサイズの不一致、モデル記述と実装の不一致（例：DKVMNのアーキテクチャの違い）が観察された。これは、先行研究の結果が、新規アーキテクチャの貢献よりもチューニングの結果に起因している可能性を示唆している。