[論文レビュー] HGKT: Introducing Hierarchical Exercise Graph for Knowledge Tracing

Hanshuang Tong, Zhen Wang+4 more|arXiv (Cornell University)|Jun 13, 2020

Advanced Graph Neural Networks参考文献 47被引用数 13

ひとこと要約

HGKTは、問題のスキーマとアテンションメカニズムを組み合わせることで、隠れた依存関係をモデル化する階層的演習グラフ（HEG）を提案する。K&S診断マトリクスを用いることで予測精度と解釈可能性が向上し、テキスト豊富な演習を含む大規模データセットにおいて、既存手法を上回る性能を発揮する。

ABSTRACT

Knowledge tracing (KT) which aims at predicting learner's knowledge mastery plays an important role in the computer-aided educational system. In recent years, many deep learning models have been applied to tackle the KT task, which have shown promising results. However, limitations still exist. Most existing methods simplify the exercising records as knowledge sequences, which fail to explore rich information that existed in exercises. Besides, the existing diagnosis results of knowledge tracing are not convincing enough since they neglect prior relations between exercises. To solve the above problems, we propose a hierarchical graph knowledge tracing model called HGKT to explore the latent hierarchical relations between exercises. Specifically, we introduce the concept of problem schema to construct a hierarchical exercise graph that could model the exercise learning dependencies. Moreover, we employ two attention mechanisms to highlight the important historical states of learners. In the testing stage, we present a K&S diagnosis matrix that could trace the transition of mastery of knowledge and problem schema, which can be more easily applied to different applications. Extensive experiments show the effectiveness and interpretability of our proposed models.

研究の動機と目的

• 演習間の階層的関係をモデル化することで、知識トレーシングにおける演習表現の損失を是正すること。
• 演習間の直接的および間接的サポート関係を捉えることで、診断の解釈可能性を向上させること。
• 問題スキーマとアテンションメカニズムを用いて、知識トレーシングのパフォーマンスと説明可能性を向上させること。
• 知識と問題スキーマのマスタリー遷移をトレースできるK&S診断マトリクスを開発すること。
• 豊富な演習テキストを含む大規模な知識トレーシングデータセットを構築・評価すること。

提案手法

• 問題スキーマを用いて、演習間の直接的および間接的サポート関係をモデル化する階層的演習グラフ（HEG）を構築する。
• HEG内のノード表現を符号化するための階層的グラフ畳み込みネットワーク（HGCN）を導入し、多段階の依存関係を捉える。
• 2つのアテンションメカニズムを採用する：履歴状態の関連性を強調するためのシーケンスアテンション、HEG内の重要なノードに注目するためのグラフアテンション。
• 知識と問題スキーマのマスタリーを時間経過とともに共同で追跡するK&S診断マトリクスを設計し、解釈可能な診断を実現する。
• 将来のパフォーマンスを予測するために、シーケンスアテンションとグラフアテンションを統合して、HGKTモデルをエンドツーエンドで学習する。
• モデルの有効性と一般化能力を検証するために、演習テキストを豊富に含む大規模データセットを活用する。

実験結果

リサーチクエスチョン

• RQ1 演習間の階層的関係は、知識トレーシングのパフォーマンスをどのように向上させるか？
• RQ2 問題スキーマとアテンションメカニズムは、モデルの解釈可能性と精度をどの程度向上させるか？
• RQ3 K&S診断マトリクスは、従来の知識トレーシング手法よりもより実用的なインサイトを提供できるか？
• RQ4 シーケンスアテンションにおける異なるウィンドウサイズは、モデルのパフォーマンスにどのような影響を及ぼすか？
• RQ5 演習テキストと階層的構造を統合することで、知識トレーシングにおける一般化性能が向上するか？

主な発見

• HGKTは、DKT、GKT、EKTを含む既存手法と比較して、知識トレーシングにおける精度と解釈可能性の両方の指標で優れている。
• K&S診断マトリクスにより、特定の問題スキーマに関連付けられた知識マスタリーを明確に追跡できるため、より信頼性が高く実用的な学習者診断が可能になる。
• HGKT-scheとHGKT-seqは、HGKT-noaより優れたパフォーマンスを達成しており、両方のアテンションメカニズムの有効性が裏付けられた。
• シーケンスアテンションにおけるウィンドウサイズが20の場合に最適なパフォーマンスが得られ、直近約20の演習が現在の学習状態を最もよく反映していることが示された。
• 事例研究では、HGKTがHEG構造を用いて学習者の誤りを説明できており、誤りと知識の劣化の間に強い相関関係があることが明らかになった。
• 提案されたフレームワークは、適応的問題推薦やパーソナライズド学習レポートなどの実世界の応用において有効であることが示された。