[論文レビュー] BKT-LSTM: Efficient Student Modeling for knowledge tracing and student performance prediction

Sein Minn|arXiv (Cornell University)|Dec 22, 2020

Intelligent Tutoring Systems and Adaptive Learning被引用数 7

ひとこと要約

本稿では、スキル習得度、k-meansクラスタリングを用いた学生の習得度プロファイル（学習移転）、問題の難易度をLSTMベースのフレームワークに統合した知識トレーシングモデル、BKT-LSTMを提案する。本モデルは、生のバイナリ相互作用シーケンスではなく、心理的に解釈可能な特徴を活用することで、複数のデータセットにおいて、最新のモデルを上回る性能を発揮し、学生の学習成績予測を向上させる。

ABSTRACT

Recently, we have seen a rapid rise in usage of online educational platforms. The personalized education became crucially important in future learning environments. Knowledge tracing (KT) refers to the detection of students' knowledge states and predict future performance given their past outcomes for providing adaptive solution to Intelligent Tutoring Systems (ITS). Bayesian Knowledge Tracing (BKT) is a model to capture mastery level of each skill with psychologically meaningful parameters and widely used in successful tutoring systems. However, it is unable to detect learning transfer across skills because each skill model is learned independently and shows lower efficiency in student performance prediction. While recent KT models based on deep neural networks shows impressive predictive power but it came with a price. Ten of thousands of parameters in neural networks are unable to provide psychologically meaningful interpretation that reflect to cognitive theory. In this paper, we proposed an efficient student model called BKT-LSTM. It contains three meaningful components: individual \ extit{skill mastery} assessed by BKT, \ extit{ability profile} (learning transfer across skills) detected by k-means clustering and \ extit{problem difficulty}. All these components are taken into account in student's future performance prediction by leveraging predictive power of LSTM. BKT-LSTM outperforms state-of-the-art student models in student's performance prediction by considering these meaningful features instead of using binary values of student's past interaction in DKT. We also conduct ablation studies on each of BKT-LSTM model components to examine their value and each component shows significant contribution in student's performance prediction. Thus, it has potential for providing adaptive and personalized instruction in real-world educational systems.

研究の動機と目的

• BKTの限界を解消すること。BKTはスキルを独立してモデル化しており、スキル間の学習移転を捉えることができない。
• DKTのようなディープラーニングモデルのブラックボックス性を克服すること。これらは優れた予測性能を示すが、心理的解釈可能性に欠ける。
• 認知的解釈可能性を保ちながら、知識トレーシングにおける予測精度を向上させるハイブリッドモデルの開発。
• 各コンポーネント（スキル習得度、能力プロファイル、問題難易度）が成績予測に寄与する実証的検証。

提案手法

• BKT-LSTMはベイジアン知識トレーシングを用いて、各スキルごとの学生習得確率を推定する。
• 学生の相互作用シーケンスに対してk-meansクラスタリングを適用し、スキル間の学習移転を表す能力プロファイルを抽出する。
• 問題難易度は、アイテムレベルの難易度を反映する特徴として、LSTMへの入力として明示的にモデル化する。
• LSTMは、スキル習得度、能力プロファイル、問題難易度のシーケンスを処理し、次の問題に対する正答確率を予測する。
• 標準的なバックプロパゲーションを用いてエンドツーエンドで訓練され、損失はバイナリクロスエントロピーによって最小化される。
• 各コンポーネントはアブレーションスタディにより分離され、予測性能への寄与が特定される。

実験結果

リサーチクエスチョン

• RQ1 BKTベースのスキル習得度、学生の能力プロファイル、問題難易度をLSTMフレームワークに統合することで、生のバイナリ相互作用シーケンスのみを用いるモデルよりも性能が向上するか？
• RQ2 スキル習得度、能力プロファイル、問題難易度の各コンポーネントが、知識トレーシングにおける予測精度にどのように寄与するか？
• RQ3 解釈可能な認知的特徴を組み込むことで、純粋にデータ駆動型のディープラーニングモデル（例：DKT）と比較してモデル性能が向上するか？
• RQ4 問題難易度情報の有無にかかわらず、多様なデータセットにおいて本モデルの性能はどのように変化するか？
• RQ5 能力プロファイルコンポーネントは、長期的な学習移転をどれほど反映しており、個々のスキル習得度の予測を上回る性能向上をもたらすか？

主な発見

• BKT-LSTMは、ASSISTments09でAUC 0.802、ASSISTments14で0.707、Algebraで0.851を達成し、DKTや他の最先端モデルを上回る。
• アブレーションスタディの結果、問題難易度を含めることで性能が8–10%向上し、最も影響力のあるコンポーネントであることが判明。
• BKT-LSTM-4（すべてのコンポーネントを含む）は、ASSISTments09でRMSE 0.409、ASSISTments14で0.420、Algebraで0.353を達成し、優れた回帰性能を示す。
• 能力プロファイルコンポーネントは顕著に寄与しており、これを含まないモデルと比較して2–4%の性能向上を示し、特に長期的学習予測において顕著。
• BKTは著しく劣る性能を示すが、BKT-LSTM-1（習得度のみ）でもBKTの性能をすでに上回る。
• 問題難易度データが欠落しているASSISTments14データセットでは、すべてのモデルが類似した性能を示しており、難易度情報の有無が重要な要因であることを確認。