[論文レビュー] Bi-CLKT: Bi-Graph Contrastive Learning based Knowledge Tracing

Xiangyu Song, Jianxin Li+4 more|arXiv (Cornell University)|Jan 22, 2022

Online Learning and Analytics被引用数 4

ひとこと要約

本論文では、Bi-CLKTと呼ばれる、『演習から演習へ』（E2E）および『概念から概念へ』（C2C）の関係的サブグラフを用いて、演習および概念の表現を同時に学習する、二重グラフ対照的学習を活用した新しい知識トレーシングモデルを提案する。ノードレベルおよびグラフレベルの対照的学習を適用し、統合損失を用いて表現を統合することで、4つの実世界データセットにおいて最先端の性能を達成し、既存手法よりも最大3%の精度およびAUCで優れている。

ABSTRACT

The goal of Knowledge Tracing (KT) is to estimate how well students have mastered a concept based on their historical learning of related exercises. The benefit of knowledge tracing is that students' learning plans can be better organised and adjusted, and interventions can be made when necessary. With the recent rise of deep learning, Deep Knowledge Tracing (DKT) has utilised Recurrent Neural Networks (RNNs) to accomplish this task with some success. Other works have attempted to introduce Graph Neural Networks (GNNs) and redefine the task accordingly to achieve significant improvements. However, these efforts suffer from at least one of the following drawbacks: 1) they pay too much attention to details of the nodes rather than to high-level semantic information; 2) they struggle to effectively establish spatial associations and complex structures of the nodes; and 3) they represent either concepts or exercises only, without integrating them. Inspired by recent advances in self-supervised learning, we propose a Bi-Graph Contrastive Learning based Knowledge Tracing (Bi-CLKT) to address these limitations. Specifically, we design a two-layer contrastive learning scheme based on an "exercise-to-exercise" (E2E) relational subgraph. It involves node-level contrastive learning of subgraphs to obtain discriminative representations of exercises, and graph-level contrastive learning to obtain discriminative representations of concepts. Moreover, we designed a joint contrastive loss to obtain better representations and hence better prediction performance. Also, we explored two different variants, using RNN and memory-augmented neural networks as the prediction layer for comparison to obtain better representations of exercises and concepts respectively. Extensive experiments on four real-world datasets show that the proposed Bi-CLKT and its variants outperform other baseline models.

研究の動機と目的

• 既存の知識トレーシングモデルが演習レベルの差異を無視し、複雑なノード間関係を正しくモデル化できないという限界を解消すること。
• 自己教師付き対照的学習を用いて、演習および概念の表現を統合することで予測性能を向上させること。
• 高次の関係的構造を活用することで、概念間の演習におけるデータスパarsityやモデルの不正確さを克服すること。
• 統一された対照的学習フレームワーク内での、異なる増幅、埋め込み、予測メカニズムの有効性を調査すること。
• 局所的（演習レベル）およびグローバル（概念レベル）の意味的情報を効果的に捉える統一モデルを構築すること。

提案手法

• モデルは、学生の相互作用パターンに基づいて、『演習から演習へ』（E2E）サブグラフと『概念から概念へ』（C2C）サブグラフの2つのサブグラフを構築する。
• ノードレベルの対照的学習をE2Eサブグラフに適用し、判別性の高い演習表現を学習する。
• グラフレベルの対照的学習をC2Cサブグラフに適用し、判別性の高い概念表現を学習する。
• E2EおよびC2C表現を同時に最適化するための統合対照的損失を設計し、特徴の判別性を向上させる。
• 2つのバリアントを実装：予測層に再帰的ニューラルネットワークを用いるBi-CLKT-Rと、メモリ拡張ネットワークを用いるBi-CLKT-M。
• 演習表現は、E2EおよびC2C埋め込みを連結することで形成され、最終的な学生のパフォーマンス予測に使用される。

実験結果

リサーチクエスチョン

• RQ1 二重グラフ対照的学習により、演習および概念の関係を同時にモデル化することで、知識トレーシングの性能向上が図れるか？
• RQ2 異なる増幅戦略（例：次数、PageRank中心性）は、異なるデータセットにおけるモデルの一般化性能にどのように影響するか？
• RQ3 E2EおよびC2C埋め込みを組み合わせることで、単独で使用する場合よりも優れた性能が得られるか？
• RQ4 予測メカニズムとしてRNNとメモリ拡張ネットワークのどちらが、知識トレーシングにおいて優れた性能を示すか？
• RQ5 統合対照的損失は、表現学習および下流の予測精度をどの程度向上させるか？

主な発見

• Bi-CLKT-Rは、ASSISTment 2009データセットでAUC 0.875、精度 0.802を達成し、すべてのベースラインを最低3%以上上回った。
• PageRank中心性増幅を用いたモデルは、4つのデータセットのうち3つで最高の性能を示し、STATICS 2011ではAUC 0.865を記録した。
• E2EおよびC2C埋め込みを連結することで、単独で使用する場合よりも顕著に優れた結果が得られ、ASSISTment 2009では最高のAUC 0.875を達成した。
• Bi-CLKT-Rは、3つのデータセットでBi-CLKT-Mを最低2%以上上回り、特にASSISTment 2009およびSTATICS 2011で顕著な優位性を示した。
• アブレーションスタディの結果、統合対照的損失およびマルチレベルのグラフ学習が、表現品質および予測精度を顕著に向上させることを確認した。
• 異なる増幅手法（次数対PageRank）が多様なデータセットで良好に機能し、過学習を示さない強力な一般化性能を示した。