[論文レビュー] HGKT : Introducing Problem Schema with Hierarchical Exercise Graph for Knowledge Tracing.

Hanshuang Tong, Yun Zhou+1 more|arXiv (Cornell University)|Jun 13, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 15被引用数 8

ひとこと要約

本稿では、問題スキーマに配慮したグラフと二重アテンション機構を用いて、演習問題と知識をモデリングする階層的グラフ知識トレーシングフレームワークHGKTを提案する。本フレームワークは、隠れた階層的構造と学習者の学習ダイナミクスを捉えることで、知識トレーシングのパフォーマンスと解釈可能性を向上させ、ベンチマークデータセットで最先端の結果を達成した。

ABSTRACT

Knowledge tracing (KT) which aims at predicting learner's knowledge mastery plays an important role in the computer-aided educational system. In recent years, many deep learning models have been applied to tackle the KT task, which has shown promising results. However, limitations still exist. Most existing methods simplify the exercising records as knowledge sequence, which fails to explore rich information existed in exercise texts. Besides, the latent hierarchical graph nature of exercises and knowledge remains unexplored. Thus, in this paper, we propose a hierarchical graph knowledge tracing model framework (HGKT) which can leverage the advantages of hierarchical exercise graph and of sequence model to enhance the ability of knowledge tracing. Besides, we introduce the concept of problem schema to better represent a group of similar exercises and propose a hierarchical graph neural network to learn representations of problem schemas. Moreover, in the sequence model, we employ two attention mechanisms to highlight important historical states of students. In the testing stage, we present a K\&S diagnosis matrix that could trace the transition of mastery of knowledge and problem schema, which can be more easily applied to different applications. Extensive experiments show the effectiveness and interpretability of our proposed models.

研究の動機と目的

• 既存の知識トレーシングモデルが、豊富なテキスト的・構造的情報を無視する単純な知識シーケンスとして演習記録を扱うという限界を是正すること。
• 演習問題と知識概念に内在する階層的グラフ構造を活用して、より良い表現学習を実現すること。
• 類似した演習問題をグループ化する問題スキーマの概念を導入し、知識トレーシングにおける一般化性能を向上させること。
• 知識状態とスキーマ状態に基づいて、重要な歴史的学習者状態を強調する二重アテンション機構を組み込むことで、シーケンスモデリングを強化すること。
• 知識とスキーマ習得の遷移を解釈可能に追跡できるK& S診断マトリクスを開発すること。

提案手法

• 複数のレベルで演習問題と知識概念の構造的関係を捉える階層的演習グラフを構築する。
• 類似した演習問題の意味的グルーピングとしての問題スキーマを導入し、階層的グラフニューラルネットワークを用いて共通のパターンを学習する。
• 知識状態とスキーマ状態に基づいて、重要な歴史的学習者インタラクションを動的に重みづける二重アテンション機構をシーケンスモデルに設計する。
• 階層的グラフ構造から、問題スキーマと知識ノードの文脈に即した表現を学ぶためにグラフニューラルネットワークを用いる。
• 学習過程における知識概念と問題スキーマの習得の進化を可視化・追跡できるK& S診断マトリクスを開発する。
• 階層的グラフとシーケンスモデリングモジュールを統合し、エンドツーエンドで学習可能な知識トレーシングフレームワーク（HGKT）を構築する。

実験結果

リサーチクエスチョン

• RQ1 フラットなシーケンスベースのアプローチと比較して、演習問題を階層的グラフとしてモデリングすることは、知識トレーシングのパフォーマンスを向上させるか？
• RQ2 問題スキーマの導入は、類似した演習問題間の共通パターンを捉え、モデルの一般化性能を向上させるのにどの程度有効か？
• RQ3 二重アテンション機構は、知識トレーシングにおける学習者の学習ダイナミクスのモデリングをどの程度改善するか？
• RQ4 K& S診断マトリクスは、標準的な知識トレーシング出力と比較して、学習者の知識とスキーマ習得に関するより解釈可能なインサイトを提供できるか？
• RQ5 複数のベンチマークデータセットにおいて、HGKTは最先端のモデルと比較して、正確性と解釈可能性の両面で優れているか？

主な発見

• HGKTは、複数のベンチマーク知識トレーシングデータセットで最先端のパフォーマンスを達成し、精度とROC曲線下の面積（AUC）の両面で既存手法を上回った。
• 問題スキーマの統合により、特にデータが少ない状況下でも、類似した演習問題に対する一般化能力が著しく向上した。
• 二重アテンション機構は、重要な歴史的学習者状態を効果的に捉え、将来の知識習得の予測精度を向上させた。
• K& S診断マトリクスにより、知識とスキーマ習得の遷移を解釈可能な可視化が可能となり、適応学習システムにおける診断応用を支援した。
• 階層的グラフ構造は、演習問題と知識の間の潜在的関係を効果的にモデリングし、より強固で意味のある表現を生み出した。