[論文レビュー] Knowledge Query Network for Knowledge Tracing: How Knowledge Interacts with Skills

Jinseok Lee, Dit‐Yan Yeung|arXiv (Cornell University)|Mar 4, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 21被引用数 20

ひとこと要約

本稿では、学生の学習行動を知識状態およびスキルベクトルにエンコードし、ドット積を用いてそれらの相互作用をモデル化することで解釈可能な予測を可能にする、新しい知識トレーシングモデルであるKQN（Knowledge Query Network）を提案する。KQNは4つの公開データセットにおいて最先端の精度を達成するとともに、直感的な解釈とスキルドメインのクラスタリングが可能な確率的スキル類似度を導入している。

ABSTRACT

Knowledge Tracing (KT) is to trace the knowledge of students as they solve a sequence of problems represented by their related skills. This involves abstract concepts of students' states of knowledge and the interactions between those states and skills. Therefore, a KT model is designed to predict whether students will give correct answers and to describe such abstract concepts. However, existing methods either give relatively low prediction accuracy or fail to explain those concepts intuitively. In this paper, we propose a new model called Knowledge Query Network (KQN) to solve these problems. KQN uses neural networks to encode student learning activities into knowledge state and skill vectors, and models the interactions between the two types of vectors with the dot product. Through this, we introduce a novel concept called probabilistic skill similarity that relates the pairwise cosine and Euclidean distances between skill vectors to the odds ratios of the corresponding skills, which makes KQN interpretable and intuitive. On four public datasets, we have carried out experiments to show the following: 1. KQN outperforms all the existing KT models based on prediction accuracy. 2. The interaction between the knowledge state and skills can be visualized for interpretation. 3. Based on probabilistic skill similarity, a skill domain can be analyzed with clustering using the distances between the skill vectors of KQN. 4. For different values of the vector space dimensionality, KQN consistently exhibits high prediction accuracy and a strong positive correlation between the distance matrices of the skill vectors.

研究の動機と目的

• 既存のモデルを上回る知識トレーシングの予測精度を向上させること。
• 学生の学習における知識-スキル相互作用の解釈可能で直感的な説明を提供すること。
• 学習されたベクトル表現を用いてスキル関係の可視化と分析を可能にすること。
• ベクトル距離に基づく確率的測度を用いて、クラスタリングおよびドメイン分析に適したスキル類似度を定義すること。

提案手法

• KQNはニューラルネットワークを用いて、学生の学習シーケンスを共有のベクトル空間内での知識状態およびスキルベクトルに埋め込む。
• 知識状態とスキルベクトルのドット積を用いて知識-スキル相互作用をモデル化し、正答の予測を行う。
• 確率的スキル類似度を導入し、スキルベクトル間のコサイン距離およびユークリッド距離を、スキルペアのオッズ比に結びつける。
• モデルは、さまざまな次元設定において、距離行列と予測性能の間に強い正の相関関係を維持するベクトル表現を学習する。
• 解釈可能性のための知識-スキル相互作用の可視化と、学習されたベクトル距離に基づくスキルのクラスタリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 知識トレーシングモデルは、既存の手法を上回る予測精度を達成できるか？
• RQ2 知識状態とスキルの相互作用は、意味的に解釈可能な形で可視化できるか？
• RQ3 モデルのスキルベクトル表現は、類似性に基づいて意味的なクラスタリングを可能にするか？
• RQ4 ベクトル空間の次元の変化に対しても、高い性能を維持できるか、ロバスト性を示すか？

主な発見

• KQNは4つの公開データセットにおいて、すべての既存の知識トレーシングモデルを上回る予測精度を達成した。
• 知識状態とスキルの相互作用は可視化可能であり、学生の学習ダイナミクスの直感的な解釈を可能にした。
• KQNのスキルベクトルから導出された確率的スキル類似度は、意味的および構造的関係に基づいたスキルドメインの有効なクラスタリングを可能にした。
• KQNは、さまざまなベクトル空間次元設定においても高い予測精度を維持しており、スキルベクトルの距離行列とモデル性能との間に強い正の相関関係が確認された。