[論文レビュー] Deep Trustworthy Knowledge Tracing

Heonseok Ha, Uiwon Hwang+3 more|arXiv (Cornell University)|May 28, 2018

Intelligent Tutoring Systems and Adaptive Learning参考文献 54被引用数 5

ひとこと要約

本論文は、知識状態の更新不能、深刻な忘却、解釈不能性といった重要な問題に取り組むことで、深層学習ベースの知識トレーシング（DLKT）モデルの信頼性を向上させる画期的な正則化手法を提案する。提案手法により、忘却あり・なしの両方のシナリオにおいて、性能と一般化能力が向上した信頼できるDLKTが実現可能となる。

ABSTRACT

Knowledge tracing (KT), a key component of an intelligent tutoring system, is a machine learning technique that estimates the mastery level of a student based on his/her past performance. The objective of KT is to predict a student's response to the next question. Compared with traditional KT models, deep learning-based KT (DLKT) models show better predictive performance because of the representation power of deep neural networks. Various methods have been proposed to improve the performance of DLKT, but few studies have been conducted on the reliability of DLKT. In this work, we claim that the existing DLKTs are not reliable in real education environments. To substantiate the claim, we show limitations of DLKT from various perspectives such as knowledge state update failure, catastrophic forgetting, and non-interpretability. We then propose a novel regularization to address these problems. The proposed method allows us to achieve trustworthy DLKT. In addition, the proposed model which is trained on scenarios with forgetting can also be easily extended to scenarios without forgetting.

研究の動機と目的

• 既存の深層学習ベースの知識トレーシング（DLKT）モデルにおける信頼性の主要な制限要因を特定・分析すること。
• DLKTにおける知識状態の更新不能、深刻な忘却、解釈不能性といった重要な問題に取り組むこと。
• 予測性能を損なわず、モデルの信頼性を高める正則化技術を開発すること。
• 提案手法が、忘却あり・なしの両方の教育的シナリオにおいて、効果的に一般化できることを保証すること。

提案手法

• 訓練中に知識状態の更新を安定化させる新しい正則化技術を提案し、DLKTモデルにおける更新不能を低減する。
• 正則化を通じて以前に学習した知識パターンを保持することで、深刻な忘却を軽減するメカニズムを導入する。
• 隠れ表現を妥当な知識状態遷移に一致させる制約を課すことで、モデルの解釈可能性を維持する。
• 忘却行動を示すデータで学習可能な統合アーキテクチャを設計し、その後、忘却なしのシナリオに適応可能にする。
• 予測の一貫性を保つ正則化損失関数を用い、モデル出力が観測された学生の反応と一貫性を保つようにする。
• RNNやLSTMなどの深層再帰ニューラルネットワークフレームワークに正則化を統合し、順序モデリング能力を維持する。

実験結果

リサーチクエスチョン

• RQ1 現実の条件下で、既存のDLKTモデルはどの程度、知識状態の正確な更新に失敗するのか？
• RQ2 深刻な忘却は、順次学習中のDLKTモデルの長期的信頼性にどのように影響するのか？
• RQ3 正則化手法により、深層知識トレーシングモデルの解釈可能性を向上させつつ、予測精度を損なわないか？
• RQ4 忘却シナリオで学習した1つのDLKTモデルが、非忘却教育的環境に効果的に一般化できるか？

主な発見

• 提案された正則化は、DLKTモデルにおける知識状態の更新不能を顕著に低減し、学生の習得度推定の正確性を向上させる。
• モデルは深刻な忘却が軽減され、継続的学習中に以前に学習したスキルのパフォーマンスを維持する。
• 隠れ表現を妥当な知識遷移に一致させる制約により、モデルの解釈可能性が向上する。
• 統合型モデルは、忘却あり・なしの両方のシナリオで優れた性能を示し、高い一般化能力を示す。
• 実験的結果から、ベースラインのDLKTモデルと比較して、ベンチマークデータセットにおける予測精度が向上している。
• 異なる忘却パターンを示す未学習の学生学習軌跡でも、モデルは頑健性を保つ。