[論文レビュー] Probabilistic Models for Computerized Adaptive Testing: Experiments

Martin Plajner, Jiří Vomlel|arXiv (Cornell University)|Jan 28, 2016

Intelligent Tutoring Systems and Adaptive Learning参考文献 3被引用数 3

ひとこと要約

本論文は、281名の小学校生の実データを用いて、コンピュータ支援適応型テスト（CAT）における確率的モデル—項目反応理論（IRT）、ベイジアンネットワーク（BNs）、ニューラルネットワーク（NNs）—を評価する。10分割交差検証シミュレーションを用いてモデルの性能を比較した結果、新規のベイジアンネットワークモデルがIRTおよびニューラルネットワーク手法を上回り、回答予測の成功確率がより高いことが判明した。

ABSTRACT

This paper follows previous research we have already performed in the area of Bayesian networks models for CAT. We present models using Item Response Theory (IRT - standard CAT method), Bayesian networks, and neural networks. We conducted simulated CAT tests on empirical data. Results of these tests are presented for each model separately and compared.

研究の動機と目的

• コンピュータ支援適応型テスト（CAT）における3つの確率的モデル—IRT、ベイジアンネットワーク、ニューラルネットワーク—の性能を評価・比較すること。
• 代表的なベイジアンネットワークモデルの改善を図り、拡張された表現能力を持つ新規の専門家構造のBNを導入すること。
• 標準的な評価指標を用いて、実際の学生のテストデータを用いたシミュレートされたCAT手順を通じて、モデルの有効性を評価すること。
• 非IRTモデルが、標準的なIRT基準を上回るか同等の性能を示せるかどうかを調査すること。

提案手法

• 10分割交差検証を実施：各foldで90％のデータを訓練に、10％をテストに使用。
• 質問は情報量の増加に基づきグリーディに選択され、各回答後にモデルを更新するシミュレートされたCAT手順を実施。
• スキル変数の周辺確率分布を用いて、MAP推定により各質問に対する最も確率の高い回答を予測：$ x_i^* = \arg\max_{x_i} P(X_i = x_i | \boldsymbol{S}) $。
• 成功割合という指標を用いてモデルを評価：$ \mathrm{SR}_s^t = \frac{1}{|\mathcal{X}|} \sum_{X_i \in \mathcal{X}} I(x_i^* = x_i') $。全質問における予測の正確性を測定。
• ニューラルネットワークの場合は、1層の隠れ層を用いた順方向ネットワークを訓練し、バックプロパゲーションを用いて直接的に学生の得点を予測。隠れ層サイズを変化（3, 5, 7ニューロン）。
• 予測得点の分散を最大化する質問を選択：$ X^* = \arg\max_i \mathrm{Var}(SC | X_{i,x}) $。これにより情報量の増加を最大化。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワークモデルは、CATにおける回答予測の正確性において、標準的なIRTモデルと比べてどのように異なるか？
• RQ2 実際の学生の回答データを用いて訓練されたニューラルネットワークモデルは、適応型テストを効果的にサポートできるか？
• RQ3 7+1の隠れ変数を持つ本稿で提案する新規ベイジアンネットワークモデルは、過去のBNモデルおよびIRTベースラインを上回る性能を示すか？
• RQ4 質問選択戦略は、適応型テストにおけるモデル予測の収束性および正確性にどのような影響を与えるか？
• RQ5 非IRT確率的モデルは、最小限の回答から学生の能力を推定する際に、IRTと同等またはそれ以上の性能を示せるか？

主な発見

• 7+1の隠れ変数を持つ新規ベイジアンネットワークモデルは、全テストモデルの中で最も高い回答予測成功率を達成した。
• IRTモデルも良好な性能を示したが、特にテストの初期段階で新規BNモデルに劣っていた。
• ニューラルネットワークモデルは、回答予測正確性の向上が最も遅く、時間経過とともに徐々に成功率が上昇した。
• 初期段階（回答なし）の成功割合$ \mathrm{SR}_0 $は、ニューラルネットワークモデルで最も低く、初期推定能力が弱いことが示された。
• 新規BNモデルは顕著な性能優位性を示し、BNに専門家知識を構造的に組み込むことで、適応型テストにおける推定正確性が向上することを示唆した。
• 本研究は、局所構造モデリング（例：決定的条件付き確率表）を用いることで、BNモデルの今後の改善が可能であることを示唆している。パラメータ数を減らしつつ表現力は向上させることが可能である。