[論文レビュー] Application of Deep Self-Attention in Knowledge Tracing

Junhao Zeng, Zhang Qing-chun+2 more|arXiv (Cornell University)|May 17, 2021

Intelligent Tutoring Systems and Adaptive Learning参考文献 18被引用数 12

ひとこと要約

本稿では、学生の学習履歴における長距離依存関係をよりよく捉えるために、デコーダーに二重のマルチヘッドアテンション機構を適用するTransformerベースのモデルである、ディープ自己注意知識トレーシング（DSAKT）を提案する。PTAデータセットにおいて、DSAKTはSAKTおよびDKTと比較して平均してAUCを2.1%向上させ、繰り返しの多いプログラミング中心の学習データにおいて優れた性能を示している。

ABSTRACT

The development of intelligent tutoring system has greatly influenced the way students learn and practice, which increases their learning efficiency. The intelligent tutoring system must model learners' mastery of the knowledge before providing feedback and advices to learners, so one class of algorithm called "knowledge tracing" is surely important. This paper proposed Deep Self-Attentive Knowledge Tracing (DSAKT) based on the data of PTA, an online assessment system used by students in many universities in China, to help these students learn more efficiently. Experimentation on the data of PTA shows that DSAKT outperforms the other models for knowledge tracing an improvement of AUC by 2.1% on average, and this model also has a good performance on the ASSIST dataset.

研究の動機と目的

• プログラミング教育向け知能チューティングシステムにおける知識トレーシングの正確性を向上させること。
• PTAから得られる密な繰り返し練習データにおいて、RNNベースのモデル（DKT）やアテンションベースのモデル（SAKT）の限界を克服すること。
• プログラミングの演習で一般的な「間違えた後に正しくなる」応答パターンを示す状況において、学生の知識概念習得状況をより効果的にモデル化すること。
• RNNよりも並列処理が可能で高速な学習が可能な自己アテンションメカニズムを活用して、より優れたシーケンスモデリングを実現すること。

提案手法

• DSAKTは、デコーダーのマルチヘッドアテンション層に共有重みを適用することで、シーケンス全体にわたる関係モデリングを維持するエンコーダー・デコーダー構造のTransformerアーキテクチャを採用する。
• 入力表現は、演習IDと応答ラベルを学習可能な埋め込みによって統合し、応答バイアスを用いて応答信号と知識概念を分離する。
• エンコーダーは、残差接続とレイヤーナーミャライゼーションを備えたマルチヘッド自己アテンションとフィードフォワードネットワークを用いて、学生のインタラクションシーケンスを処理する。
• デコーダーは、入力に対して2回のマルチヘッドアテンションを適用し、重みを共有する。まずデコーダー入力を、次にエンコーダー出力を処理することで、文脈に配慮した予測を可能にする。
• 最終的な予測層は、シグモイド活性化を施した線形変換を適用し、次の演習に対する正解確率を出力する。
• モデル学習では、アダム最適化法とノーム学習率スケジューリングを用いて、真の応答と予測確率の間のバイナリクロスエントロピー損失を最小化する。

実験結果

リサーチクエスチョン

• RQ1 自己アテンションベースのモデルは、密なプログラミング中心の学習データにおいて、RNNベースや標準的なアテンションベースのモデルを上回る知識トレーシング性能を示せるか？
• RQ2 二重アテンションデコーダーに共有重みを適用することで、繰り返し練習のシナリオにおける学生の知識進捗モデリングはどのように向上するか？
• RQ3 提案されたDSAKTモデルは、スパarsityが異なるデータセット（PTAおよびASSISTデータセット）間でどれほど一般化可能か？
• RQ4 残差接続とレイヤーナーミャライゼーションを備えたマルチヘッドアテンションの使用は、DKTやSAKTと比較してAUC性能を向上させるか？

主な発見

• DSAKTはPTAデータセットにおいて、SAKTと比較して平均してAUCを2.1%向上させ、個々のPTAデータセットでは1.37%から3.10%の向上幅を示した。
• Pintia 3では、DSAKTのAUCは0.764に達し、SAKT（0.741）およびDKT（0.737）を著しく上回った。
• ASSIST2009（0.769 vs. 0.761）およびASSIST2012（0.748 vs. 0.737）の両方のデータセットで、DSAKTはSAKTを上回るAUCを達成し、スパースなデータセットに対しても一般化能力を示した。
• 自己アテンション層の並列処理の性質を活かすことで、RNNベースのDKTと比較しておおよそ1桁の高速化が達成された。
• アテンション重みの可視化結果から、モデルは特に「間違えた後に正しくなる」シーケンスにおいて、関連する知識概念や過去のインタラクションを効果的に注目していることが示された。