[論文レビュー] On the Interpretability of Deep Learning Based Models for Knowledge Tracing

Xinyi Ding, Eric C. Larson|arXiv (Cornell University)|Jan 27, 2021

Intelligent Tutoring Systems and Adaptive Learning参考文献 15被引用数 9

ひとこと要約

本稿は、知識トレーシングにおけるディープラーニングモデルの解釈可能性を調査し、Deep Knowledge Tracing (DKT) が個々のスキルを追跡するのではなく、主に学生の「能力」モデルを学習していることを明らかにした。EdNetデータセットを用いて、DKTの性能が学習された再帰的構造ではなく、高次元空間への射影に起因していることを示し、より良いモデルの透明性とパフォーマンスを実現するための改善されたトレーニング戦略およびアテンション機構を提案した。

ABSTRACT

Knowledge tracing allows Intelligent Tutoring Systems to infer which topics or skills a student has mastered, thus adjusting curriculum accordingly. Deep Learning based models like Deep Knowledge Tracing (DKT) and Dynamic Key-Value Memory Network (DKVMN) have achieved significant improvements compared with models like Bayesian Knowledge Tracing (BKT) and Performance Factors Analysis (PFA). However, these deep learning based models are not as interpretable as other models because the decision-making process learned by deep neural networks is not wholly understood by the research community. In previous work, we critically examined the DKT model, visualizing and analyzing the behaviors of DKT in high dimensional space. In this work, we extend our original analyses with a much larger dataset and add discussions about the memory states of the DKVMN model. We discover that Deep Knowledge Tracing has some critical pitfalls: 1) instead of tracking each skill through time, DKT is more likely to learn an `ability' model; 2) the recurrent nature of DKT reinforces irrelevant information that it uses during the tracking task; 3) an untrained recurrent network can achieve similar results to a trained DKT model, supporting a conclusion that recurrence relations are not properly learned and, instead, improvements are simply a benefit of projection into a high dimensional, sparse vector space. Based on these observations, we propose improvements and future directions for conducting knowledge tracing research using deep neural network models.

研究の動機と目的

• DKT や DKVMN のようなディープラーニングモデルの解釈可能性を調査すること。特に、高いパフォーマンスを示す一方でブラックボックス性が顕著なこれらのモデルに関して。
• DKT が真にスキル固有の習得状態を学習しているのか、それとも一般的な学生の能力をモデル化しているのかを特定すること。
• DKT における再帰構造の役割を分析し、パフォーマンス向上に寄与しているかどうかを評価すること。
• DKVMN のメモリ状態のダイナミクスを検討し、隠れたスキルがどのようにエンコードされ、更新されているかを理解すること。
• モデルの解釈性を向上させ、解釈不能な高次元表現への依存を減らすための方法論的改善を提案すること。

提案手法

• 著者らは、時間経過に伴う DKT の隠れ状態活性化の次元削減と可視化を実施し、スキル追跡行動を分析した。
• 最終線形層のみを更新する DKT モデルを訓練し、完全に訓練された DKT と性能を比較することで、再帰の役割を分離した。
• 応答ごとに値メモリの更新を追跡し、可視化を用いてアクティベーションパターンを分析することで、DKVMN のメモリ状態の変化を分析した。
• ASSISTments とは異なる小規模なデータセットに比べ、大規模な教育データセットとしての EdNet データセットを用いて、先行研究の結果を拡張して検証した。
• 長期的なスキル依存関係をよりよく捉え、誤った再帰的影響を低減するため、変更された損失関数とアテンション機構を提案した。
• AUC を主な指標として用い、ASSISTments 2009–2010 および EdNet といった複数のデータセットでモデルパフォーマンスを比較した。

実験結果

リサーチクエスチョン

• RQ1 DKT は本当に時間経過に伴い個々のスキルを追跡しているのか、それとも一般的な学生の能力をモデル化しているのか？
• RQ2 DKT の再帰的構造がパフォーマンスにどの程度寄与しているのか。それともパフォーマンスは高次元射影に起因しているのか？
• RQ3 初期化されたままの再帰ネットワーク（最終層のみ学習）は、完全に訓練された DKT モデルと同等のパフォーマンスを達成できるのか？
• RQ4 DKVMN のメモリ状態は応答の度にどのように変化するのか。また、それらは意味のある隠れたスキル構造を反映しているのか？
• RQ5 これらの発見は、知識トレーシングにおけるディープラーニングモデルの解釈性と設計にどのような意味を持つのか？

主な発見

• DKT は時間経過に伴い個々のスキルを追跡しているのではなく、高次元空間における活性化パターンの証拠から、一般的な学生の能力モデルを学習していることが示された。
• DKT の再帰的アーキテクチャは不要な情報を強化しており、再帰が正しく学習されておらず、パフォーマンス向上に不可欠ではない可能性を示唆している。
• 最終線形層のみを学習する未訓練 DKT モデルが、EdNet データセットで完全に訓練された DKT と同等の AUC パフォーマンス（0.08–0.09）を達成した。これは、パフォーマンス向上が高次元射影に起因していることを示している。
• DKT のパフォーマンス向上は、入力をスパarsな高次元ベクトル空間にマッピングすることで線形分類が容易になることに起因しており、学習された時系列依存関係によるものではない。
• DKVMN のメモリ状態は、正答・誤答に関わらず同じスキルに対して類似した場所に活性化するため、隠れたスキルが安定してエンコードされているが、専門家が定義したスキル階層を一貫して反映していない。
• DKVMN の隠れたスキル数は、メモリサイズが小さくない限り、それほど感度を示さない。これは、モデルのロバスト性を示唆しているが、最適な隠れたスキル表現を決定する際の曖昧さも示している。