[論文レビュー] EKT: Exercise-aware Knowledge Tracing for Student Performance Prediction

Qi Liu, Zhenya Huang+5 more|arXiv (Cornell University)|Jun 7, 2019

Online Learning and Analytics参考文献 53被引用数 52

ひとこと要約

本論文は、演習内容と学生記録を共同利用して学生の成績を予測する EERNN および EKT フレームワークを提案し、EKT が複数の概念にわたる知識獲得の解釈可能な追跡を提供します。

ABSTRACT

For offering proactive services to students in intelligent education, one of the fundamental tasks is predicting their performance (e.g., scores) on future exercises, where it is necessary to track each student's knowledge acquisition during her exercising activities. However, existing approaches can only exploit the exercising records of students, and the problem of extracting rich information existed in the exercise's materials (e.g., knowledge concepts, exercise content) to achieve both precise predictions of student performance and interpretable analysis of knowledge acquisition remains underexplored. In this paper, we present a holistic study of student performance prediction. To directly achieve the primary goal of prediction, we first propose a general Exercise-Enhanced Recurrent Neural Network (EERNN) framework by exploring both student's records and the exercise contents. In EERNN, we simply summarize each student's state into an integrated vector and trace it with a recurrent neural network, where we design a bidirectional LSTM to learn the encoding of each exercise's content. For making predictions, we propose two implementations under EERNN with different strategies, i.e., EERNNM with Markov property and EERNNA with Attention mechanism. Then, to explicitly track student's knowledge acquisition on multiple knowledge concepts, we extend EERNN to an explainable Exercise-aware Knowledge Tracing (EKT) by incorporating the knowledge concept effects, where the student's integrated state vector is extended to a knowledge state matrix. In EKT, we further develop a memory network for quantifying how much each exercise can affect the mastery of students on concepts during the exercising process. Finally, we conduct extensive experiments on large-scale real-world data. The results demonstrate the prediction effectiveness of two frameworks as well as the superior interpretability of EKT.

研究の動機と目的

• 時間の経過とともに知識獲得を追跡しつつ、将来の学生の成績を正確に予測する動機づけ。
• 演習記録と演習のテキスト内容を結合して情報の損失を減らす。
• 複数の知識概念に対する熟達度の解釈可能な追跡を提供する。
• 演習内容と概念の相関を通じてコールドスタートの状況に対処する。
• 2つの予測戦略を提供し、解釈可能な知識追跡フレームワークへと拡張する。

提案手法

• 演習内容を双方向 LSTM でエンコードし、演習埋め込みと回答を統合する RNN/LSTM で学生状態をモデル化する EERNN を提案する。
• 二つの EERNN 予測戦略を実装する: マルコフ性を用いる EERNNM と、過去の状態に対する注意機構を持つ EERNNA。
• 知識状態マトリクスを導入して K 個の知識概念に対する熟達度を表すことで EERNN を EKT に拡張する。
• 各演習が各知識概念に与える影響を定量化するため、メモリーネットワークを備えた Knowledge Embedding モジュールを導入する。
• 概念ごとの入力に基づいて概念固有の知識状態を更新する per-concept LSTM を用いる。
• EKT フレームワーク内で予測のための EKTM（マルコフ）および EKTA（アテンション）変種を提供する。

実験結果

リサーチクエスチョン

• RQ1 演習内容を知識追跡に効果的に組み込んで、将来の成績予測を改善するにはどうすればよいか？
• RQ2 演習内容と概念の相関を活用して、コールドスタート状況で予測は生き残れるか？
• RQ3 複数の知識概念に対する熟達度の明示的な追跡は、精度を犠牲にせず解釈性を向上させるか？
• RQ4 過去の演習に対する注意機構が将来の成績予測に与える影響は何か？
• RQ5 提案されたメモリーベース知識埋め込みは、演習の概念間影響をどのように定量化するのか？

主な発見

• EERNN および EKT フレームワークは、将来の演習に対する学生の成績を効果的に予測する。
• EKT は、明示的な知識概念を横断して熟達度を追跡することで、解釈性を高める。
• 注意機構を用いた EERNNA は、関連する過去の状態に焦点を当てることで予測を改善する。
• 知識埋め込みは概念間の相関を捕捉し、コールドスタート状況の対処を支援する。
• 大規模実世界データでの実験は、一般的およびコールドスタートの両方の状況で有効性を示す。