[論文レビュー] A Self-Attentive model for Knowledge Tracing

Shalini Pandey, George Karypis|arXiv (Cornell University)|Jul 16, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 9被引用数 189

ひとこと要約

SAKT は自己注意を用いて関連する過去の練習問題（KCs）を特定し、学生の次の回答を予測することで最先端のKTモデルを上回り、RNNベースのアプローチより訓練が速い。

ABSTRACT

Knowledge tracing is the task of modeling each student's mastery of knowledge concepts (KCs) as (s)he engages with a sequence of learning activities. Each student's knowledge is modeled by estimating the performance of the student on the learning activities. It is an important research area for providing a personalized learning platform to students. In recent years, methods based on Recurrent Neural Networks (RNN) such as Deep Knowledge Tracing (DKT) and Dynamic Key-Value Memory Network (DKVMN) outperformed all the traditional methods because of their ability to capture complex representation of human learning. However, these methods face the issue of not generalizing well while dealing with sparse data which is the case with real-world data as students interact with few KCs. In order to address this issue, we develop an approach that identifies the KCs from the student's past activities that are extit{relevant} to the given KC and predicts his/her mastery based on the relatively few KCs that it picked. Since predictions are made based on relatively few past activities, it handles the data sparsity problem better than the methods based on RNN. For identifying the relevance between the KCs, we propose a self-attention based approach, Self Attentive Knowledge Tracing (SAKT). Extensive experimentation on a variety of real-world dataset shows that our model outperforms the state-of-the-art models for knowledge tracing, improving AUC by 4.43% on average.

研究の動機と目的

• 対話の連続から知識概念に対する学生の習熟度を予測するKTの動機付け。
• KTにおけるデータのスパース性に対処するため、全履歴ではなく関連する過去のいくつかの相互作用に焦点を当てる。
• 関連する過去の練習問題を特定して未来のパフォーマンスを予測する自己注意ベースのKTモデルを提案する。
• 注意により導かれる関連性が、RNNベースのKTモデルよりも予測性能と訓練速度を向上させることを示す。

提案手法

• 過去の相互作用と練習問題を埋め込み入力表現を形成する。
• シーケンス順序を捉えるために位置エンコードを適用する。
• 過去の相互作用と現在の練習問題との関連性を計算するために、マルチヘッドスケールド・ドット積自己注意を使用する。
• 注意計算で未来の相互作用をマスキングして因果性を組み込む。
• 注意された表現をフィードフォワードネットワークへ通し、残差接続と層正規化を適用した後、次の回答をシグモイド出力で予測する。
• 観測された次の回答に対してバイナリ交差エントロピーロスを最小化して訓練する。

実験結果

リサーチクエスチョン

• RQ1 自己注意KTモデルは、多様なデータセットにわたって最先端のKTモデル（DKT、DKT+、DKVMN）を上回ることができるか？
• RQ2 特にデータが希薄な設定で、自己注意は最も関連する過去の練習問題を効果的に識別して次の回答を予測するのに活用できるか？
• RQ3 提案されたアーキテクチャは、RNNベースのKTモデルよりも訓練が著しく速く、精度を維持または向上させるか？
• RQ4 アテンション重みは、練習問題（KCs）と学生のパフォーマンス間の関係をどれだけ解釈可能に示すか？

主な発見

• SAKT はデータセット全体で平均 AUC を 4.43 ポイント向上させ、最先端のKT手法を上回る。
• 合成データでは、SAKT の AUC は 0.832、DKT+ の 0.824 に対して高く、関係が1つのシークエンス内で明確に関連付けられる場合に強い性能を示す。
• ASSIST2009 では、SAKT は AUC が 0.848、DKT+ と同点の 0.848、他は 0.820–0.829、改善を示す。
• ASSIST2015 では、SAKT は AUC 0.854、ベースラインに比べ大幅な改善（例: 競合の 0.736–0.737 など）。
• ASSISTChall と STATICS では SAKT はベースラインと同等か上回り、特に STATICS で顕著な向上（0.853 対 0.814–0.835）。
• SAKT の訓練は RNN ベースのモデルより著しく速く（例: Titan V GPU で1エポックあたり 1.4s 対 DKT+ の 65s、DKT の 45s）。
• アテンションの可視化は潜在概念のクラスタリングと練習問題間の関連性を明らかにし、モデルが学習した解釈可能な関係を示す。