[論文レビュー] Enhancing Knowledge Tracing via Adversarial Training

Xiaopeng Guo, Zhijie Huang+4 more|arXiv (Cornell University)|Aug 10, 2021

Adversarial Robustness in Machine Learning参考文献 38被引用数 6

ひとこと要約

本稿では、相互作用埋め込みから導出された元の例と敵対的例を同時に学習することで、深層学習モデルの一般化性能を向上させる知識トレーシングのための敵対的訓練手法ATKTを提案する。効率的なアテンションLSTMバックボーンに、新しい知識隠れ状態アテンションモジュールを統合することで、ATKTは4つのベンチマークデータセットで最先端の性能を達成し、特に小規模データセットにおいてAUCスコアが顕著に向上する。

ABSTRACT

We study the problem of knowledge tracing (KT) where the goal is to trace the students' knowledge mastery over time so as to make predictions on their future performance. Owing to the good representation capacity of deep neural networks (DNNs), recent advances on KT have increasingly concentrated on exploring DNNs to improve the performance of KT. However, we empirically reveal that the DNNs based KT models may run the risk of overfitting, especially on small datasets, leading to limited generalization. In this paper, by leveraging the current advances in adversarial training (AT), we propose an efficient AT based KT method (ATKT) to enhance KT model's generalization and thus push the limit of KT. Specifically, we first construct adversarial perturbations and add them on the original interaction embeddings as adversarial examples. The original and adversarial examples are further used to jointly train the KT model, forcing it is not only to be robust to the adversarial examples, but also to enhance the generalization over the original ones. To better implement AT, we then present an efficient attentive-LSTM model as KT backbone, where the key is a proposed knowledge hidden state attention module that adaptively aggregates information from previous knowledge hidden states while simultaneously highlighting the importance of current knowledge hidden state to make a more accurate prediction. Extensive experiments on four public benchmark datasets demonstrate that our ATKT achieves new state-of-the-art performance. Code is available at: \color{blue} {\url{https://github.com/xiaopengguo/ATKT}}.

研究の動機と目的

• 小規模データセット上で特に顕著な過学習問題を解消するため。
• 学生の相互作用データにおける摂動に強いモデルを構築するため、敵対的訓練を活用して一般化性能を向上させるため。
• 知識隠れ状態を適応的に集約するとともに、現在の状態の重要性を強調する、より効果的な知識トレーシングバックボーンを設計するため。
• 多様な実世界のデータセットにおいて、敵対的訓練の有効性を実証的に検証するため。

提案手法

• 高速勾配符号法（FGSM）に基づくアプローチを用いて、元の相互作用埋め込みに対して摂動を生成し、敵対的例を構築する。
• 元のクリーンな入力と生成された敵対的例の両方を用いて、知識トレーシングモデルを同時に学習させることで、ロバストネスと一般化性能を向上させる。
• 過去のKHS表現を適応的に集約し、現在のKHSの重要性を強調する知識隠れ状態（KHS）アテンションモジュールを備えたアテンションLSTMバックボーンを設計する。
• 各学生の演習の相互作用埋め込みを入力とし、各埋め込みは学生の回答と関連する知識スキルを符号化する。
• 未来の正答性を予測するために、バイナリクロスエントロピー損失を用いてモデルをエンドツーエンド最適化し、バックプロパゲーション時に敵対的例を活用する。
• カリキュラム学習の形で敵対的訓練を適用し、摂動の大きさを段階的に増加させて訓練を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 小規模データセットで学習された知識トレーシングモデルにおいて、敵対的訓練が過学習を効果的に低減できるか？
• RQ2 提案された知識隠れ状態アテンションモジュールは、時間の経過とともに学生の知識状態の表現をどのように向上させるか？
• RQ3 元の例と敵対的例を同時に学習させることで、未知のデータに対する一般化性能と性能が向上するか？
• RQ4 ATKTは、複数のベンチマークデータセットにおいて、AUCスコアの観点から最先端の知識トレーシングモデルと比較してどのように差をつけるか？
• RQ5 予測された知識習得度が、現実的な学生の学習経路をどれほど的確に反映しているか？

主な発見

• ATKTは4つの公開知識トレーシングベンチマークで最先端の性能を達成し、ベースラインと比較して、Statics2011では平均AUCが0.0023向上、ASSISTments2009では0.0063、ASSISTments2015では0.0506、ASSISTments2017では0.0002向上した。
• アブレーションスタディの結果、KHSアテンションモジュールがモデル性能を顕著に向上させ、Statics2011ではAUCが0.0023、ASSISTments2015では0.0506向上した。
• 敵対的訓練は過学習を効果的に緩和し、特にStatics2011のような小規模データセットにおいて顕著である。検証損失曲線は、訓練損失からの乖離が小さくなっている。
• 可視化結果から、モデルが知識スキル間の相関関係を捉えていることが示され、関連するスキルに基づいて未習得スキルの習得度が更新されている。
• モデルの最終的な予測習得度は学生の実際の成績とよく一致しており、個別学習に適した強み・弱みの特定が可能である。
• 提案されたATKT手法は、既存の最先端モデルよりも一般化性能に優れており、特に難易度の高いASSISTments2015データセットにおいて顕著な性能向上が確認された。