[論文レビュー] LOO and WAIC as Model Selection Methods for Polytomous Items

Yong Luo|arXiv (Cornell University)|Jun 26, 2018

Statistical Methods and Inference参考文献 49被引用数 10

ひとこと要約

本研究では、順序多値項目反応理論（IRT）モデルにおけるベイズ的手法としてのleave-one-out cross-validation（LOO）およびWatanabe-Akaike情報基準（WAIC）のモデル選択性能を評価する。シミュレーションおよび実データを用いた分析の結果、AIC、BIC、DICなど7つの手法すべてが高い統計的検出力（0.93以上）を示したが、WAICおよびLOOはDICほど高い検出力を示さなかったものの、依然として順序多値IRTモデルの正しい選択において競争力のある性能を示した。

ABSTRACT

Watanabe-Akaike information criterion (WAIC; Watanabe, 2010) and leave-one-out cross validation (LOO) are two fully Bayesian model selection methods that have been shown to perform better than other traditional information-criterion based model selection methods such as AIC, BIC, and DIC in the context of dichotomous IRT model selection. In this paper, we investigated whether such superior performances of WAIC and LOO can be generalized to scenarios of polytomous IRT model selection. Specifically, we conducted a simulation study to compare the statistical power rates of WAIC and LOO with those of AIC, BIC, AICc, SABIC, and DIC in selecting the optimal model among a group of polytomous IRT ones. We also used a real data set to demonstrate the use of LOO and WAIC for polytomous IRT model selection. The findings suggest that while all seven methods have excellent statistical power (greater than 0.93) to identify the true polytomous IRT model, WAIC and LOO seem to have slightly lower statistical power than DIC, the performance of which is marginally inferior to those of the other four frequentist methods. Keywords: polytomous IRT, Bayesian, MCMC, model comparison.

研究の動機と目的

• WAICおよびLOOが二値反応IRTモデル選択において優れた性能を示すことが、順序多値IRTモデルに対しても同様に成り立つかどうかを評価すること。
• WAIC、LOOおよび6つの頻度主義的情報基準（AIC、BIC、AICc、SABIC、DIC）が真の順序多値IRTモデルを特定する際の統計的検出力の比較。
• 実世界の順序多値IRTデータセットを用いて、LOOおよびWAICの実用的応用を示すこと。
• 複雑な複数カテゴリ応答データの文脈において、完全にベイズ的なモデル選択手法の相対的有効性を評価すること。

提案手法

• 制御された条件下で複数の順序多値IRTモデルを用いたモンテカルロシミュレーション研究を実施し、モデル選択性能を比較した。
• 全評価対象モデルの事後分布推定にマルコフ連鎖モンテカルロ（MCMC）法を用いた。
• 事後サンプルを用いてWAICおよびLOOを計算し、モデルの適合度および予測精度を評価した。
• 従来の情報基準（AIC、BIC、AICc、SABIC、DIC）を用いて比較的基準を設定した。
• さまざまなサンプルサイズおよびモデル設定における統計的検出率を用いて、モデル選択性能を評価した。
• 実データセットにLOOおよびWAICを適用し、順序多値IRT文脈における実用的有用性を示した。

実験結果

リサーチクエスチョン

• RQ1 WAICおよびLOOは、二値IRTモデルと同様に、順序多値IRTモデルでも優れたモデル選択性能を維持できるか？
• RQ2 WAICおよびLOOの統計的検出率は、AIC、BIC、AICc、SABIC、DICと比較して、真の順序多値IRTモデルを特定する際にどう異なるか？
• RQ3 実順序多値IRTデータにLOOおよびWAICを適用した際の実用的性能はいかがなものか？
• RQ4 二値設定において優れた性能を示すベイズ的手法の優位性が、より複雑な順序多値応答形式にも拡張可能か？

主な発見

• 7つのモデル選択手法すべてが、真の順序多値IRTモデルを特定するにあたり、0.93を上回る高い統計的検出力を達成した。
• WAICおよびLOOはDICほど高い統計的検出力を示さなかったが、他の4つの頻度主義的手法よりわずかに劣る程度であった。
• わずかな検出力の低下にもかかわらず、WAICおよびLOOは依然として非常に競争力があり、順序多値IRTモデル選択における高い頑健性を示した。
• シミュレーション結果から、LOOおよびWAICは順序多値IRTフレームワークにおける信頼性があり効果的なベイズ的代替手法であると示唆された。
• 実データの応用結果から、LOOおよびWAICが実世界の順序多値IRTモデル評価において実用的で解釈可能な手法であることが確認された。