[論文レビュー] Assessment meets Learning: On the relation between Item Response Theory and Bayesian Knowledge Tracing

Benjamin Deonovic, Michael Yudelson+3 more|arXiv (Cornell University)|Mar 15, 2018

Mental Health Research Topics参考文献 2被引用数 1

ひとこと要約

本稿は、ベイジアン知識トレーシング（BKT）と項目反応理論（IRT）の間の根本的な理論的関係を確立し、BKTの潜在的知識状態の定常分布がIRTモデルに対応することを示している。近年のネットワーク心理測定学の進展を活用して、この関係をより一般的なネットワークベースのモデルに一般化し、縦断的および横断的学習評価フレームワークを統合する。

ABSTRACT

Few models have been more ubiquitous in their respective fields than Bayesian knowledge tracing and item response theory. Both of these models were developed to analyze data on learners. However, the study designs that these models are designed for differ; Bayesian knowledge tracing is designed to analyze longitudinal data while item response theory is built for cross-sectional data. This paper illustrates a fundamental connection between these two models. Specifically, the stationary distribution of the latent variable and the observed response variable in Bayesian knowledge Tracing are related to an item response theory model. Furthermore, recent advances in network psychometrics demonstrate how this relationship can be exploited and generalized to a network model.

研究の動機と目的

• 縦断的学習データを対象としたBKTと、横断的データを想定したIRTの間の理論的関係を明らかにすること。
• 特定の条件下で、BKTの潜在的知識状態の定常分布がIRTモデルと一致することを示すこと。
• 近年のネットワーク心理測定学の発展を活用して、この関係をより広範なモデリング応用に向けて一般化すること。
• 共通の統計的基盤を通じて、縦断的および横断的学習評価アプローチを統合すること。

提案手法

• BKTにおける潜在的知識変数の定常分布の理論的導出。
• BKTの定常分布をIRTモデルにおける正答確率にマッピングすること。
• ネットワーク心理測定モデルを活用して、BKT-IRT関係をネットワーク構造へと拡張すること。
• BKTの長期的知識状態とIRTの能力パラメータの間の同等性を形式化すること。
• 確率的グラフィカルモデルを用いて、知識状態と回答の同時分布を表現すること。

実験結果

リサーチクエスチョン

• RQ1 BKTの潜在的知識変数の定常分布は、どのようにIRTモデルと関係しているか？
• RQ2 BKTとIRTの関係は、標準的な仮定を超えて一般化可能か？
• RQ3 ネットワーク心理測定モデルは、縦断的および横断的学習評価の統合にどのような役割を果たすか？
• RQ4 BKT-IRT対応関係は、新たな学習評価モデルの設計にどのような示唆をもたらすか？

主な発見

• BKTの知識状態変数の定常分布は、IRTモデルにおける正答確率に対応する。
• この対応関係は、学習および知識状態が時間とともに安定化するという仮定のもとで成立する。
• この関係により、BKTのパラメータを項目難易度や識別度などのIRTパラメータと同等視できるようになる。
• 理論的関係のおかげで、ネットワーク心理測定学の枠組みを用いてBKTをネットワークモデルへと拡張可能となる。