[論文レビュー] Deep Graph Memory Networks for Forgetting-Robust Knowledge Tracing

Ghodai Abdelrahman, Qing Wang|arXiv (Cornell University)|Aug 18, 2021

Intelligent Tutoring Systems and Adaptive Learning参考文献 39被引用数 6

ひとこと要約

本稿では、複数の潜在的概念における忘却行動を動的にモデル化するために、忘れゲーティング機構とアテンションベースのメモリ構造を統合した新しい知識トレーシングモデル、Deep Graph Memory Networks (DGMN) を提案する。動的かつ変化する概念間の関係を捉える潜在的概念グラフを構築することで、DGMN は4つのベンチマークデータセットにおいて最先端のモデルを上回り、忘却行動と概念間の依存関係のモデル化において優れた性能を示した。

ABSTRACT

Tracing a student's knowledge is vital for tailoring the learning experience. Recent knowledge tracing methods tend to respond to these challenges by modelling knowledge state dynamics across learning concepts. However, they still suffer from several inherent challenges including: modelling forgetting behaviours and identifying relationships among latent concepts. To address these challenges, in this paper, we propose a novel knowledge tracing model, namely \emph{Deep Graph Memory Network} (DGMN). In this model, we incorporate a forget gating mechanism into an attention memory structure in order to capture forgetting behaviours dynamically during the knowledge tracing process. Particularly, this forget gating mechanism is built upon attention forgetting features over latent concepts considering their mutual dependencies. Further, this model has the capability of learning relationships between latent concepts from a dynamic latent concept graph in light of a student's evolving knowledge states. A comprehensive experimental evaluation has been conducted using four well-established benchmark datasets. The results show that DGMN consistently outperforms the state-of-the-art KT models over all the datasets. The effectiveness of modelling forgetting behaviours and learning latent concept graphs has also been analyzed in our experiments.

研究の動機と目的

• 複数の潜在的概念における忘却行動をモデル化する際の、従来の知識トレーシングモデルの限界を解消すること。
• 事前に定義されたグラフに依存せずに、学生のインタラクションシーケンスから潜在的概念間の動的関係を学習すること。
• 相互依存性を考慮した忘れゲーティング機構を用いて、忘却ダイナミクスを知識状態表現に統合すること。
• メモリネットワーク、グラフ構造、および忘却に配慮したアテンションを組み合わせることで、知識トレーシングの予測精度を向上させること。
• 学生の知識状態についての事前仮定を避けることで、効果的なコールドスタート学習を可能にすること。

提案手法

• DGMN は、質問-回答シーケンスを用いて時間経過に伴う知識状態を維持・更新するアテンションベースのメモリネットワークを採用する。
• 忘れゲーティング機構を導入し、複数の潜在的概念にわたる時間的経過と試行回数に基づく忘却特徴に注目することで、忘却行動をモデル化する。
• メモリネットワークからの情報を用いて、動的かつ変化する概念間の関係を捉える潜在的概念グラフを動的に構築する。
• 学生の知識状態遷移に基づいてグラフを反復的に更新することで、文脈に応じた概念依存関係を学習可能にする。
• アテンション機構を用いて、グラフ内の隣接概念の重要性を重み付けし、表現学習を強化する。
• 最終的な予測ヘッドは、メモリ状態とグラフ埋め込み表現を統合し、正解の確率を予測する。

Figure 1: An example for illustrating the difference between modelling forgetting over one latent concept and over multiple latent concepts, where Time Lapse and Trials are two forgetting features used for modelling forgetting.

実験結果

リサーチクエスチョン

• RQ1 個々の質問ではなく、複数の潜在的概念にわたる忘却行動を効果的にモデル化する方法は何か？
• RQ2 潜在的概念間の動的関係が、知識トレーシングのパフォーマンスにどの程度向上効果をもたらすか？
• RQ3 概念間の相互依存性を考慮した忘れゲーティング機構が、予測精度の向上に寄与するか？
• RQ4 メモリネットワークと動的グラフ学習を統合することで、知識トレーシングにおける一般化性能がどのように向上するか？
• RQ5 提案されたモデルは、多様な知識トレーシングデータセットにわたって良好に一般化するか？

主な発見

• DGMN は、4つの標準的なベンチマークデータセットにおいて、すべての最先端の知識トレーシングモデルを一貫して上回った。
• AUC および AUPRC において顕著な向上を達成し、未学習の質問シーケンスに対する予測性能が向上したことを示した。
• アブレーションスタディの結果、忘れゲーティング機構と動的概念グラフ学習の両方が、性能向上に顕著な貢献をしていることが確認された。
• 特に、忘却効果が顕著に現れる長期的なシーケンスにおいて、忘却ダイナミクスを効果的に捉えられていた。
• 動的グラフ構築機構は、学生の学習パターンと相関する意味のある概念関係を効果的に学習した。
• 事前仮定のないメモリベースの設計のおかげで、コールドスタートシナリオにおいても優れた一般化能力を示した。

Figure 2: Model architecture of our proposed DGMN model, where the latent concept graph (LCG) module is on the left side, the attention memory (AM) module is in the middle, and the answer prediction layer is on the right side.