[論文レビュー] Memory-Augmented Neural Networks for Knowledge Tracing from the Perspective of Learning and Forgetting

Heonseok Ha, Uiwon Hwang+2 more|arXiv (Cornell University)|May 28, 2018

Intelligent Tutoring Systems and Adaptive Learning参考文献 15被引用数 6

ひとこと要約

本論文は、現在の知識状態に基づく適応的知識成長と、忘却をよりよく制御する正則化損失を組み込んだ、DKVMNの改善版知識トレーシングモデルを提案する。4つのベンチマークで評価された結果、AUC（予測性能）および忘却を測定する新しい指標であるポジティブ更新率（PUR）の両面で、DKVMNを上回った。

ABSTRACT

Knowledge tracing (KT) refers to a machine learning technique to assess a student's level of understanding (or knowledge state) based on the student's past performance in exercise-solving. KT accepts a series of question-answer pairs as an input and iteratively updates the knowledge state of the student, eventually returning the probability of the student solving a given question. To estimate the accurate knowledge state, a KT model should imitate the learning and forgetting mechanisms of the student. Deep learning-based KT models, proposed recently, show a higher predictive performance than traditional machine learning-based KT models due to the representative power of neural networks. The dynamic key value memory network (DKVMN), a kind of memory augmented neural network (MANN), is a state-of-the-art KT model, but it has some limitations. DKVMN does not utilize information from a current knowledge state and overestimates the amount of forgetting when updating the knowledge state. To improve the learning and forgetting mechanism of the DKVMN, we propose a knowledge tracing model that incorporates: (1) an adaptive knowledge growth depending on the current knowledge state, and (2) an additional loss term that can regularize the degree of forgetting. To measure the degree of forgetting of the KT model, we define a positive update ratio (PUR) that can complement the predictive performance metric (AUC). According to our experiments using four public benchmarks, the proposed approaches outperform the original DKVMN in terms of both AUC (predictive performance) and PUR (degree of forgetting).

研究の動機と目的

• 知識トレーシングにおける現実的な学習および忘却ダイナミクスをモデル化する点でDKVMNに見られる限界を是正すること。
• 現在の知識状態を知識成長意思決定に組み込むことで、知識状態推定の精度を向上させること。
• 正則化損失項を導入することで、DKVMNにおける忘却の過大評価を低減すること。
• 忘却行動の評価を補完するための新しい指標、ポジティブ更新率（PUR）を提案すること。

提案手法

• 現在の知識状態に応じて動的に学習を調整する適応的知識成長を導入し、学習の応答性を向上させること。
• 知識状態更新時の忘却度合いを制約するための新しい正則化損失項を設計すること。
• 適応的成長機構と正則化損失を統合するため、DKVMNアーキテクチャを変更すること。
• モデル更新における忘却の程度を定量化するため、ポジティブ更新率（PUR）を補助的評価指標として採用すること。
• 標準的な予測損失と新しい忘却正則化損失の両方を用いて再訓練することで、学習と保持のバランスを取ること。
• 多様な学生の相互作用パターンをカバーする4つの公開知識トレーシングベンチマークを用いて、モデルの性能を検証すること。

実験結果

リサーチクエスチョン

• RQ1 知識トレーシングモデルにおける知識成長を、現在の知識状態に適応させることで、学習の忠実性をどのように向上させられるか？
• RQ2 正則化損失が、メモリ拡張型知識トレーシングモデルにおける忘却の過大評価をどの程度低減できるか？
• RQ3 ポジティブ更新率（PUR）は、AUCと併せて、知識トレーシングにおける忘却行動の評価に信頼性があり補完的であると見なせるか？
• RQ4 提案されたモデルは、標準ベンチマークにおいてDKVMNと比較して、より優れた予測性能とより現実的な忘却ダイナミクスを達成できるか？

主な発見

• 提案モデルは、4つの公開ベンチマークすべてでDKVMNよりも高いAUCスコアを達成しており、知識状態推定における予測性能の向上を示している。
• モデルはDKVMNと比較して、有意に優れたポジティブ更新率（PUR）を示しており、忘却行動のより正確で現実的なモデル化を示している。
• 適応的知識成長の統合により、より応答性が高く文脈に適応した知識状態更新が実現された。
• 正則化損失は、忘却の過大評価を効果的に低減し、より安定的かつ現実的な知識状態遷移をもたらした。
• 向上したAUCとPURの両方の組み合わせから、モデルが学生の知識進化における学習と忘却の二重メカニズムをよりよく捉えていることが確認された。
• 実験的結果から、多様なデータセットにおいて一貫した性能向上が得られ、提案手法の堅牢性が裏付けられた。