[論文レビュー] Back to the Basics: Bayesian extensions of IRT outperform neural networks for proficiency estimation

Kevin H. Wilson, Yan Karklin+2 more|arXiv (Cornell University)|Apr 8, 2016

Intelligent Tutoring Systems and Adaptive Learning参考文献 16被引用数 64

ひとこと要約

この論文は、学生の熟達度推定のため、ベイジアン拡張型項目反応理論（IRT）と、再帰的ニューラルネットワークモデルである深層知識トレーシング（DKT）を比較評価している。3つのデータセットにおいて、IRTベースのモデル—特に階層的IRTの変種—が一貫してDKTを上回るか、同等の性能を発揮することが判明した。特に細分化されたコンテンツレベルにおいて、優れた性能、解釈可能性、計算の扱いやすさを提供している。

ABSTRACT

Estimating student proficiency is an important task for computer based learning systems. We compare a family of IRT-based proficiency estimation methods to Deep Knowledge Tracing (DKT), a recently proposed recurrent neural network model with promising initial results. We evaluate how well each model predicts a student's future response given previous responses using two publicly available and one proprietary data set. We find that IRT-based methods consistently matched or outperformed DKT across all data sets at the finest level of content granularity that was tractable for them to be trained on. A hierarchical extension of IRT that captured item grouping structure performed best overall. When data sets included non-trivial autocorrelations in student response patterns, a temporal extension of IRT improved performance over standard IRT while the RNN-based method did not. We conclude that IRT-based models provide a simpler, better-performing alternative to existing RNN-based models of student interaction data while also affording more interpretability and guarantees due to their formulation as Bayesian probabilistic models.

研究の動機と目的

• 学生の応答を予測する際、ベイジアン拡張型IRTの性能をDeep Knowledge Tracing（DKT）と比較すること。
• IRTのような構造的で確率的なモデルが、教育データモデリングにおいてディープラーニング手法を上回る可能性があるかどうかを評価すること。
• 階層的項目グループ化と時間的依存性が熟達度推定に与える影響を調査すること。
• 細分化されたコンテンツレベルにおけるDKTとIRTモデルの計算上の実行可能性とスケーラビリティを評価すること。
• 重複応答の影響により報告されたDKT性能に乖離が生じた理由を解明し、クリーニング済みデータで再評価すること。

提案手法

• 学生の熟達度と項目の難易度に正規事前分布を適用した1パラメータIRTモデル（1PO）を、ベイジアン後確率推定を用いて訓練した。
• 項目グループ化構造を組み込んだ階層的IRTモデル（HIRT）を拡張し、共通する項目特性を活用することで性能を向上させた。
• 順次的相互作用における応答パターンの自己相関を考慮するため、時間的IRTモデル（TIRT）を構築し、性能推定を時間的経過に応じてモデル化した。
• 応答シーケンスに基づき、学生の正答性を予測するために長短期記憶（LSTM）ネットワークを用いたDKTを実装した。
• IRTモデルには最大事後確率（MAP）推定、DKTには勾配降下法を用い、すべてのデータセットで交差検証を実施した。
• 公平な比較とオンライン予測タスクにおける過学習の回避を目的として、重複削除を含むデータクリーニング手順を適用した。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン拡張型IRTは、多様な教育データセットにおいて、将来の学生の応答を予測する際にDKTを上回るか？
• RQ2 階層的項目グループ化構造を組み込むことで、IRTベースのモデルの予測性能はどのように変化するか？
• RQ3 学生の応答パターンにおける時間的自己相関がモデル性能に与える影響はどの程度か？また、IRTモデルとDKTモデルのどちらがこの構造からより大きな利益を得るか？
• RQ4 ASSISTmentsデータセットにおける報告されたDKTの性能向上はなぜ誇張されているとされるのか？また、データクリーニングによってこの比較にどのような影響があるか？
• RQ5 構造的ベイジアンモデル（例：IRT）は、教育アプリケーションにおいてディープラーニングモデル（例：DKT）に比べ、解釈可能性と計算効率が優れていると言えるか？

主な発見

• 階層的IRT（HIRT）モデルが、3つのデータセットすべてで最良の全体的性能を達成し、標準IRTおよびDKTを上回った。
• IRTベースのモデルは、重複する応答が含まれたままの生データで訓練されたDKTですら、すべてのデータセットで同等またはそれを上回る性能を発揮した。
• Knewtonデータセットでは、非自明な時間的自己相関が観察されたが、時間的IRT（TIRT）モデルは標準IRTを著しく上回ったのに対し、DKTは同様の向上を示さなかった。
• DKTの性能は、特に大規模データセット（KDDおよび機密Knewton）において、細分化されたコンテンツレベルで計算的に実行不能であった。一方、IRTモデルは効果的にスケーリングされた。
• 最高性能を発揮したIRTモデル（HIRT）は、項目およびグループの識別子を両方使用しており、構造的なドメイン知識が予測精度を向上させることを示した。
• 重複データを除去して再評価した結果、DKTが以前のモデルに対して20パーセンテージポイントのAUC優位性を主張していたが、これは統計的に妥当ではなく、その性能主張の根拠が揺るがされた。