[論文レビュー] Extending Deep Knowledge Tracing: Inferring Interpretable Knowledge and Predicting Post-System Performance

Richard Scruggs, Ryan S. Baker+1 more|arXiv (Cornell University)|Oct 14, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 29被引用数 4

ひとこと要約

この論文は、序列モデリングに知識推定を統合することで、解釈可能な学生の知識を推定するように、Deep Knowledge Tracing (DKT) および Dynamic Key-Value Memory Networks (DKVMN) を拡張している。この手法は、BKT や PFA よりも後テスト成績との相関を向上させ、学習済みの知識表現が従来の知識トレーシングモデルよりも長期的な学習成果をよりよく予測できることを示している。

ABSTRACT

Recent student knowledge modeling algorithms such as Deep Knowledge Tracing (DKT) and Dynamic Key-Value Memory Networks (DKVMN) have been shown to produce accurate predictions of problem correctness within the same learning system. However, these algorithms do not attempt to directly infer student knowledge. In this paper we present an extension to these algorithms to also infer knowledge. We apply this extension to DKT and DKVMN, resulting in knowledge estimates that correlate better with a posttest than knowledge estimates from Bayesian Knowledge Tracing (BKT), an algorithm designed to infer knowledge, and another classic algorithm, Performance Factors Analysis (PFA). We also apply our extension to correctness predictions from BKT and PFA, finding that knowledge estimates produced with it correlate better with the posttest than BKT and PFA's standard knowledge estimates. These findings are significant since the primary aim of education is to prepare students for later experiences outside of the immediate learning activity.

研究の動機と目的

• 既存の深層学習モデル（DKT や DKVMN）の限界、すなわち正答率の予測しか行わないが、学生の知識を推定できない点を是正すること。
• モデルが予測する知識状態と、後テストで測定された実際の学生の学習成果との整合性を高めること。
• ベイジアン知識トレーシング（BKT）およびパフォーマンス要因分析（PFA）を、知識推定の機能を拡張することで、その予測妥当性を向上させること。
• 深層学習モデルから得られる知識推定値が、標準的な BKT や PFA の知識推定値よりも、後テスト成績とより強く相関しているかどうかを評価すること。

提案手法

• 著者らは、序列エンコーダーの上に知識推定ヘッドを追加することで、DKT や DKVMN を変更し、正答率の予測に加えて解釈可能な知識推定値を出力するようにしている。
• 知識推定ヘッドは、微分可能アテンション機構を用いて隠れ状態を知識状態ベクトルにマッピングし、連続的で解釈可能な知識表現を可能にしている。
• 知識推定値は、正答率予測と知識状態予測を組み合わせたマルチタスク損失を用いて、エンド・ツー・エンドで訓練されている。
• モデルは、正答率のためのバイナリ・クロスエントロピーと、知識状態推定のための平均二乗誤差の両方を最小化するように同時に最適化されている。
• 知識推定値は、後テスト得点との照合を通じて、その予測妥当性が評価されている。
• このアプローチは、BKT や PFA に対しても適用されており、それらの標準的な知識推定を、新しい深層学習ベースの推定メカニズムに置き換えている。

実験結果

リサーチクエスチョン

• RQ1 DKT や DKVMN といった深層学習モデルを、正答率予測を超えて解釈可能な学生の知識状態を推定できるように拡張できるか？
• RQ2 DKT や DKVMN が推定する知識推定値が、標準的な BKT や PFA の知識推定値よりも、後テスト成績とより強く相関するか？
• RQ3 BKT や PFA に同じ知識推定メカニズムを適用することで、それらの知識推定値が後テスト結果に対してより高い精度で推定できるようになるか？
• RQ4 深層学習モデルに知識推定を統合することで、従来の知識トレーシングモデルよりも、長期的な学習成果の予測が向上するか？

主な発見

• 拡張された DKT および DKVMN モデルは、BKT や PFA が標準的に出力する知識推定値よりも、後テスト成績との相関が強い。
• 拡張モデルの知識推定値は、後テスト得点の予測において BKT や PFA を上回っており、実際の学習の進捗とよりよく一致していることを示している。
• 同じ知識推定メカニズムを BKT や PFA に適用した場合、それらの知識推定値は、元の定式化と比較して後テスト成績との相関が向上している。
• 正答率予測と知識状態推定の両方を同時に最適化するマルチタスク学習の設定により、より頑健で解釈可能な知識表現が得られている。
• 結果として、深層学習モデルが、解釈可能でありながら長期的な学習成果を効果的に予測できるような知識を推定できるように適応可能であることが示された。
• 本研究は、知識推定が教育システムにおける序列モデリングに価値ある拡張であるという実証的証拠を提供しており、特に即時の学習環境を超えた成績予測において特に有効である。