[論文レビュー] An IRT-based Model for Omitted and Not-reached Items

Jinxin Guo|arXiv (Cornell University)|Apr 7, 2019

Psychometric Methodologies and Testing参考文献 31被引用数 3

ひとこと要約

本稿では、受験者の能力と関連する非無視可能な欠損のメカニズムを累積的欠損プロセスとしてモデル化することで、教育的・心理的評価における省略された項目と到達不能な項目を区別する、IRTに基づく新規モデルを提案する。MCMCを用いたベイズ推定により、特に非無視可能な欠損状況下で、リストワイズ削除や無視可能なモデルと比較して、パラメータ回復とモデル適合度に優れた性能を示す。

ABSTRACT

Missingness is a common occurrence in educational assessment and psychological measurement. It could not be casually ignored as it may threaten the validity of the test if not handled properly. Considering the difference between omitted and not-reached items, we developed an IRT-based model to handle these missingness. In the proposed method, not-reached responses are captured by the cumulative missingness. Moreover, the nonignorability is attributed to the correlation between ability and person missing trait. We proved that its item parameters estimate under maximum marginal likelihood (MML) estimation is consistent. We further proposed a Bayesian estimation procedure using MCMC methods to estimate all the parameters. The simulation results indicate that the model parameters under the proposed method are better recovered than that under listwise deletion, and the nonignorable model fits the simulated nonignorable nonresponses better than ignorable model in terms of Bayesian model selection. Furthermore, the Program for International Student Assessment (PISA) data set was analyzed to further illustrate the usage of the proposed method.

研究の動機と目的

• 時間制限による省略と到達不能の両方が原因となる非無視可能な欠損データの課題に対処すること。
• 意図的に飛ばされた項目（省略）と時間制限による到達不能な項目を、従来のモデルが混同するのとは対照的に区別すること。
• 受験者の能力と欠損の傾向との相関を適切にモデル化することで、妥当なパラメータ推定を保証する統計的に整合性のあるIRTベースのモデルを開発すること。
• IRTパラメータと欠損データメカニズムを同時に推定できるベイズ推定フレームワーク（MCMC）を提供し、非無視可能な欠損状況下での頑健性を向上させること。
• シミュレーションスタディおよび実データ（PISA）を用いた評価を通じて、従来のリストワイズ削除および無視可能な欠損モデルと比較して、本モデルの優位性を示すこと。

提案手法

• 非無視可能な欠損メカニズムを形式化し、欠損の有無が観測された回答と受験者の能力に依存するモデルを採用することで、能力と欠損傾向の相関を捉える。
• 到達不能な回答を累積的欠損プロセスとしてモデル化し、潜在変数構造を用いて省略された項目と区別する。
• 選択モデル（SLM）に基づく統合尤度モデルを構築し、応答と欠損インジケータの同時分布を P(R,Y|Ω) = P(R|Y,Ω)P(Y|Ω) と因数分解する。
• Gibbsサンプリングを用いたMCMCによるベイズ推定を実装し、IRTパラメータ（a_j, b_j, ζ_j）と欠損パラメータ（γ_0, γ_1, γ_2）に情報的事前分布を設定。理論的期待を反映する制約を導入する。
• ベイズモデル比較のため、デイバリアンス情報基準（DIC）と擬似周辺尤度の対数（LPML）を用いる。CPO推定における数値安定化のため、U_ij,maxを用いる。
• シミュレーテッドデータおよび実際のPISAデータに本モデルを適用し、多様な欠損パターン下での性能と解釈可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 非無視的な欠損が省略と到達不能な項目に起因する状況下で、提案されたIRTモデルは、項目パラメータおよび能力パラメータの回復にどの程度有効か？
• RQ2 従来のモデルが単一の欠損タイプとして扱うのとは対照的に、本モデルは省略と到達不能な項目を、より効果的に区別できるか？
• RQ3 リストワイズ削除がバイアスを引き起こす非無視的欠損状況下でも、ベイズMCMC推定手順は一貫性があり信頼性の高いパラメータ推定を提供するか？
• RQ4 シミュレーテッドおよび実データにおいて、DICおよびLPMLを用いたモデル適合度の観点から、非無視的モデルは無視的モデルを上回るか？
• RQ5 実際のPISAデータに適用した際、本モデルの実証的性能は、受験者の能力と欠損パターンとの関係をどの程度適切に捉えられるか？

主な発見

• 本モデルは、特に高い非無視的欠損状況下で、リストワイズ削除と比較してIRT項目パラメータおよび欠損パラメータの両方のパラメータ回復が優れていた。
• DICおよびLPMLを用いたベイズモデル選択の結果、非無視的モデルは、無視的モデルと比較して、非無視的非応答のシミュレーションデータに対して有意に高い適合度を示した。
• 最大周辺尤度（MML）推定値が一貫性を示すことが証明され、提案された欠損メカニズム下での妥当な推論が保証された。
• PISAデータ解析において、本モデルは欠損の非無視的性質を適切に捉え、低能力の受験者がより多く省略または到達不能な項目に直面していることを明らかにした。
• MCMCサンプリング手順は安定した収束を示し、十分な有効サンプルサイズを提供することで、推論の信頼性が確保された。
• CPO推定におけるU_ij,maxの使用により、高次元欠損データモデルで一般的な問題を回避する数値的安定性が確保された。