[論文レビュー] Variational Item Response Theory: Fast, Accurate, and Expressive

Mike Wu, Richard L. Davis+3 more|arXiv (Cornell University)|Feb 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 3

ひとこと要約

本稿では、大規模なデータセット上で高速でスケーラブルかつ正確にIRTモデルを適合できる、アイテム反応理論（IRT）向けの変分ベイズ推論アルゴリズムを提案する。変分推論を活用することで、計算効率を著しく向上させつつも高い精度を維持し、表現力のあるベイズモデルを用いて古典的IRTを拡張し、5つの実世界データセットにおいて対数尤度と欠損データ補完の両面で性能向上を達成した。

ABSTRACT

Item Response Theory (IRT) is a ubiquitous model for understanding humans based on their responses to questions, used in fields as diverse as education, medicine and psychology. Large modern datasets offer opportunities to capture more nuances in human behavior, potentially improving test scoring and better informing public policy. Yet larger datasets pose a difficult speed / accuracy challenge to contemporary algorithms for fitting IRT models. We introduce a variational Bayesian inference algorithm for IRT, and show that it is fast and scaleable without sacrificing accuracy. Using this inference approach we then extend classic IRT with expressive Bayesian models of responses. Applying this method to five large-scale item response datasets from cognitive science and education yields higher log likelihoods and improvements in imputing missing data. The algorithm implementation is open-source, and easily usable.

研究の動機と目的

• 従来のIRT適合アルゴリズムが大規模な現代のデータセットにスケーリングするのを妨げる課題に対処すること。
• 複雑なIRTアプリケーションにおいて高いモデル忠実度を維持しつつ、計算効率の高い推論手法を開発すること。
• 人間の反応行動の微細な側面をよりよく捉えるために、表現力のあるベイズ構造を用いて古典的IRTモデルを拡張すること。
• 実世界のデータセットにおけるスケーラブルな推論を活用して、対数尤度と欠損データ補完の両面での性能向上を図ること。

提案手法

• 本稿では、IRTモデルに特化した変分ベイズ推論アルゴリズムを導入し、事後分布推定の最適化に平均場近似を用いる。
• 確率的勾配降下法による効率的最適化を可能にするために、周辺尤度（証拠下界）の下界を定式化する。
• アイテムおよび個人のパラメータを柔軟な事前分布でモデル化することで、個々の個人およびアイテムレベルの異質性を表現可能にする。
• 推論手順はデータセットサイズに線形にスケーリング可能であり、大規模データセットへの応用を可能にする。
• モジュール式のパrameterizationにより、二値応答モデルと多項応答モデルの両方をサポートする。
• 実装はオープンソースであるため、再現性が確保され、既存の研究プロトコルへの統合が容易になる。

実験結果

リサーチクエスチョン

• RQ1 変分ベイズ推論は、大規模データセット上でスケーラブルかつ正確にIRTモデルを適合できるよう、効果的にIRTに適応可能か？
• RQ2 提案手法は、標準的なIRT適合アルゴリズムと比較して、計算速度と予測精度の両面で優れているか？
• RQ3 表現力のあるベイズ拡張を用いたIRTは、モデル適合および欠損データ補完の面でどの程度性能向上を達成できるか？
• RQ4 本手法は、教育学および認知科学分野の多様な実世界データセットにおいても高い性能を維持するか？

主な発見

• 変分ベイズIRT手法は、MCMCベースの標準的手法と比較して著しく短いトレーニング時間を達成しながら、同等またはより高い精度を維持した。
• 5つの大規模なアイテム反応データセットにおいて、提案モデルはベースラインIRTモデルと比較して一貫して高い対数尤度を達成した。
• 欠損応答データの補完において優れた性能を示し、より優れた一般化能力およびモデル表現力を持つことを示した。
• アルゴリズムはデータセットサイズに応じて効率的にスケーリング可能であり、従来のMCMC手法では処理が困難な大規模データセットへの実用的応用を可能にした。
• オープンソースの実装により、研究コミュニティにおける広範な採用と拡張が可能になった。