[論文レビュー] qDKT: Question-centric Deep Knowledge Tracing

Shashank Sonkar, Andrew E. Waters+3 more|arXiv (Cornell University)|May 25, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 23被引用数 6

ひとこと要約

qDKTは、従来のDKTを改善する質問中心の知識トレーシングモデルを提案する。このモデルは、スキルレベルのパフォーマンスではなく個々の質問のパフォーマンスをモデル化する。質問の類似性に基づいて予測を滑らかにするためのグラフラプラシアン正則化と、fastTextにインspiredされた初期化を用い、ASSISTments 2017 や Statics 2011 を含む複数の実世界データセットで最先端のAUC性能を達成する。

ABSTRACT

Knowledge tracing (KT) models, e.g., the deep knowledge tracing (DKT) model, track an individual learner's acquisition of skills over time by examining the learner's performance on questions related to those skills. A practical limitation in most existing KT models is that all questions nested under a particular skill are treated as equivalent observations of a learner's ability, which is an inaccurate assumption in real-world educational scenarios. To overcome this limitation we introduce qDKT, a variant of DKT that models every learner's success probability on individual questions over time. First, qDKT incorporates graph Laplacian regularization to smooth predictions under each skill, which is particularly useful when the number of questions in the dataset is big. Second, qDKT uses an initialization scheme inspired by the fastText algorithm, which has found success in a variety of language modeling tasks. Our experiments on several real-world datasets show that qDKT achieves state-of-art performance on predicting learner outcomes. Because of this, qDKT can serve as a simple, yet tough-to-beat, baseline for new question-centric KT models.

研究の動機と目的

• 既存の知識トレーシングモデルがスキル内のすべての質問を同等に扱うという限界に対処する。これは実世界の教育データでは現実的ではない。
• 特にASSISTments 2009のようなスパースデータセットで顕著な低観測数の質問に起因する過学習を克服する。
• 質問の類似性と向上した埋め込み初期化を活用して、予測精度を向上させる、堅牢な質問中心の知識トレーシングフレームワークを開発する。
• 従来のスキルレベルのDKTよりも優れた性能を示すことで、将来的な質問中心の知識トレーシングモデルの強力でシンプルなベースラインを提供する。
• 複数のスキルにマッピングされる質問を柔軟にモデル化できるようにし、スキルを共同カテゴリにマニュアルで統合する必要をなくす。

提案手法

• qDKTを導入する。これは、スキル識別子の代わりに個々の質問識別子を使用して学習者のパフォーマンスを質問レベルでモデル化するDKTの変種である。
• スキルの重複またはテキスト特徴に基づいて得られる質問類似性グラフを活用して、グラフラプラシアン正則化を適用し、類似する質問間で予測を滑らかにする。
• サブワードとトークンレベルの表現を組み合わせることで、意味的および構造的なパターンを捉える、fastTextにインspiredされた初期化方式を用いて質問-応答埋め込みを初期化する。
• Adam最適化法とドロップアウトを用いて、LSTMベースのシーケンスモデルを訓練し、過学習を低減する。予測は質問-応答タプルレベルで行われる。
• 質問の類似性グラフを、スキルマッピングまたは質問テキストの埋め込みを用いて構築し、意味的または構造的に類似する質問間で一般化を可能にする。
• 5分割交差検証を実施し、70%を訓練用、30%をテスト用に分割し、テストセットでのAUCスコアを評価指標とする。

実験結果

リサーチクエスチョン

• RQ1 スキルレベルではなく質問レベルで学習者のパフォーマンスをモデル化することで、知識トレーシングにおける予測精度が向上するか？
• RQ2 質問の類似性に基づくグラフラプラシアン正則化は、質問レベルの知識トレーシングモデルの一般化性能とロバストネスにどのように影響するか？
• RQ3 fastTextにインspiredされた埋め込み初期化は、シーケンスベースの知識トレーシングモデルの収束性と性能にどの程度向上効果をもたらすか？
• RQ4 正則化と向上した初期化の組み合わせは、スパarsityが異なる多様な教育データセットにおいて一貫した性能向上をもたらすか？
• RQ5 qDKTは、将来的な質問中心の知識トレーシングモデルの強力で汎用性の高いベースラインとして機能できるか？

主な発見

• qDKTは、ASSISTments 2017、Statics 2011、Tutorデータセットの3つ中3つで標準的なDKTを上回り、より高いAUCスコアを達成した。
• 質問あたりの平均観測数が非常に低い（19.27）ASSISTments 2009データセットでは、ベースのqDKTモデルが過学習によりDKTを下回った。これは正則化の必要性を浮き彫りにした。
• グラフラプラシアン正則化の追加により、特に低データ環境下でqDKTの性能が顕著に向上した。類似する質問間で予測が滑らかにされ、一般化性能が向上した。
• fastTextにインspiredされた初期化方式により、主成分分析（PCA）のプロットで正解応答と不正解応答の埋め込みがより明確に分離された。これは、埋め込みの幾何構造が改善されたことを示している。
• 正則化とfastText初期化の両方を組み合わせることで、すべてのデータセットで最先端のAUC性能が達成された。ASSISTments 2017では0.74、Statics 2011では0.72のAUCを記録した。
• 可視化結果から、fastText初期化が埋め込み空間に対称的な構造を維持していることが確認された。この構造は訓練過程を通しても保持され、モデルの一般化性能向上と相関していた。