[論文レビュー] Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory

Chun-Kit Yeung|arXiv (Cornell University)|Apr 26, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 19被引用数 75

ひとこと要約

Deep-IRT は DKVMN をアイテム反応理論と組み合わせ、時系列で予測力を保ちながら、解釈可能な学生能力とアイテム難易度の推定を提供します。

ABSTRACT

Deep learning based knowledge tracing model has been shown to outperform traditional knowledge tracing model without the need for human-engineered features, yet its parameters and representations have long been criticized for not being explainable. In this paper, we propose Deep-IRT which is a synthesis of the item response theory (IRT) model and a knowledge tracing model that is based on the deep neural network architecture called dynamic key-value memory network (DKVMN) to make deep learning based knowledge tracing explainable. Specifically, we use the DKVMN model to process the student's learning trajectory and estimate the student ability level and the item difficulty level over time. Then, we use the IRT model to estimate the probability that a student will answer an item correctly using the estimated student ability and the item difficulty. Experiments show that the Deep-IRT model retains the performance of the DKVMN model, while it provides a direct psychological interpretation of both students and items.

研究の動機と目的

• interpretable deep learning-based knowledge tracing models の必要性を動機付ける。
• DKVMN を IRT ベースの確率モデルと統合して説明可能なパラメータを得る。
• Deep-IRT が DKVMN の性能を維持しつつ心理的解釈を提供することを示す。
• 学習済みの学生能力とアイテム難易度を伝統的な指標と比較分析する。
• 深層学習と心理測定モデルを組み合わせることで、より広い適用可能性があることを示す。

提案手法

• DKVMN を用いて学習経路を処理し、潜在的 KC と知識状態表現を抽出する。
• 学生能力ネットワークと KC 難易度ネットワークを補完して theta_tj と beta_j を生成する。
• one-parameter IRT 確率関数 p_t = sigma(3.0 * theta_tj - beta_j) を適用して正答性を予測する。
• Adam 最適化と標準的な深層学習実践（埋め込みマトリクス、メモリマトリクス）を用いてクロスエントロピー損失で訓練する。
• 複数の公的データセットおよび独自データセットを横断して Deep-IRT を DKVMN、DKT、PFA と比較する。
• 深い特徴を心理測定パラメータ（能力と難易度）に時系列でマッピングすることで解釈性を提供する。

実験結果

リサーチクエスチョン

• RQ1 Deep-IRT モデルは、DKVMN モデルの予測性能を保ちつつ、アイテムレベルで解釈可能な theta（能力）と beta（難易度）を提供するか。
• RQ2 Deep-IRT から推定されるアイテム難易度と学生能力は、伝統的な IRT / アイテム分析の指標および他の KT のベースラインとどのように比較されるか。
• RQ3 深層学習と IRT の組み合わせは、さまざまなデータセットにおいて主要な KT 指標（AUC、正答率、損失）を損なうことなく説明可能性を提供できるか。
• RQ4 学習経路全体を用いた KC 難易度推移の意義は何か。

主な発見

データセット	モデル	AUC	正解率	損失
ASSIST2009	PFA	59.68	69.24	7.08
ASSIST2009	DKT	81.56	77.17	5.26
ASSIST2009	DKVMN	81.61	77.01	5.29
ASSIST2009	Deep-IRT	81.65	77.00	5.30
ASSIST2015	PFA	52.85	73.37	6.13
ASSIST2015	DKT	72.85	75.29	5.69
ASSIST2015	DKVMN	72.94	75.18	5.71
ASSIST2015	Deep-IRT	72.88	75.14	5.72
Statics2011	PFA	64.99	79.85	4.64
Statics2011	DKT	82.71	81.37	4.29
Statics2011	DKVMN	83.17	81.57	4.24
Statics2011	Deep-IRT	83.09	81.56	4.24
Synthetic	PFA	61.68	65.20	8.01
Synthetic	DKT	81.65	74.84	5.79
Synthetic	DKVMN	82.97	75.58	5.62
Synthetic	Deep-IRT	82.98	75.61	5.61
FSAI-F1toF3	PFA	54.52	54.57	10.46
FSAI-F1toF3	DKT	69.42	64.11	8.26
FSAI-F1toF3	DKVMN	68.40	63.40	8.42
FSAI-F1toF3	Deep-IRT	68.69	63.43	8.42

• Deep-IRT はデータセット全体で DKVMN に匹敵する予測性能を達成し、しばしば正答率と AUC を同等またはそれ以上に一致させる。
• Deep-IRT は学生の能力と KC 難易度の解釈可能な推定を提供し、IRT やアイテム分析などの伝統的アプローチと一致している。
• データセットを通じて、Deep-IRT の難易度推定は外部難易度指標と相関し、元のモデル出力とは期待通り異なる。
• 本モデルは DKVMN の強みを維持しつつ、学生とアイテムの双方に対する直接的な心理的解釈を提供する。
• 分析によれば、DKT で観察された再構築の問題は Deep-IRT でも継続し、前の KT の知見と一致している。
• 実験から、Deep-IRT は全学習履歴を用いた KC 難易度の代替的な軌跡推定器として機能し得ることが示唆される。