[论文解读] An IRT-based Model for Omitted and Not-reached Items

Jinxin Guo|arXiv (Cornell University)|Apr 7, 2019

Psychometric Methodologies and Testing参考文献 31被引用 3

一句话总结

本文提出了一种基于IRT的新模型，通过将非忽略性缺失机制与被试能力关联的累积缺失过程，区分教育与心理测验中的遗漏项目与未触及项目。采用马尔可夫链蒙特卡洛（MCMC）的贝叶斯估计方法，该模型在非忽略性缺失情景下，相较于列表删除法与忽略性模型，展现出更优的参数恢复能力和模型拟合效果。

ABSTRACT

Missingness is a common occurrence in educational assessment and psychological measurement. It could not be casually ignored as it may threaten the validity of the test if not handled properly. Considering the difference between omitted and not-reached items, we developed an IRT-based model to handle these missingness. In the proposed method, not-reached responses are captured by the cumulative missingness. Moreover, the nonignorability is attributed to the correlation between ability and person missing trait. We proved that its item parameters estimate under maximum marginal likelihood (MML) estimation is consistent. We further proposed a Bayesian estimation procedure using MCMC methods to estimate all the parameters. The simulation results indicate that the model parameters under the proposed method are better recovered than that under listwise deletion, and the nonignorable model fits the simulated nonignorable nonresponses better than ignorable model in terms of Bayesian model selection. Furthermore, the Program for International Student Assessment (PISA) data set was analyzed to further illustrate the usage of the proposed method.

研究动机与目标

• 解决教育与心理测评中非忽略性缺失数据的挑战，其中缺失响应源于遗漏与时间限制导致的未触及。
• 区分遗漏项目（有意跳过）与未触及项目（因时间限制而未完成），这些在现有模型中常被混为一谈。
• 开发一种统计上一致的基于IRT的模型，考虑被试能力与缺失倾向之间的相关性，确保参数估计的有效性。
• 提供一种基于MCMC的贝叶斯估计框架，联合估计IRT参数与缺失数据机制，提升在非忽略性缺失下的稳健性。
• 通过模拟研究与真实PISA数据评估模型性能，证明其优于传统列表删除法与忽略性缺失模型。

提出的方法

• 通过非忽略性模型正式化缺失数据机制，其中缺失性依赖于观测响应与被试能力，捕捉能力与缺失特征之间的相关性。
• 通过累积缺失过程对未触及响应进行建模，利用潜在变量结构将未触及项目与遗漏项目区分开。
• 基于选择模型（SLM）构建联合似然模型，将响应与缺失指示变量的联合分布分解为P(R,Y|Ω) = P(R|Y,Ω)P(Y|Ω)。
• 采用MCMC中的吉布斯抽样实现贝叶斯估计，对IRT参数（a_j, b_j, ζ_j）与缺失参数（γ_0, γ_1, γ_2）使用信息充分的先验分布，并施加约束以反映理论预期。
• 使用偏差信息准则（DIC）与伪边际似然对数（LPML）进行贝叶斯模型比较，通过U_ij,max在CPO估计中实现数值稳定。
• 将模型应用于模拟数据与真实PISA数据，以验证其在多种缺失模式下的性能与可解释性。

实验结果

研究问题

• RQ1 当缺失性为非忽略性且源于遗漏与未触及项目时，所提出的IRT模型在恢复项目参数与能力参数方面表现如何？
• RQ2 该模型是否能比将两者视为单一缺失类型的现有方法更有效地区分遗漏与未触及项目？
• RQ3 在非忽略性缺失下，贝叶斯MCMC估计程序是否能产生一致且可靠的参数估计，特别是在列表删除法导致偏差时？
• RQ4 在模拟与真实数据中，所提出的非忽略性模型与忽略性模型在DIC与LPML指标下的模型拟合效果如何比较？
• RQ5 将该模型应用于真实PISA数据时，其经验表现如何，特别是在捕捉被试能力与缺失模式之间关系方面？

主要发现

• 所提出的模型在非忽略性缺失程度较高时，相较于列表删除法，对IRT项目参数与缺失参数的恢复效果更优。
• 基于DIC与LPML的贝叶斯模型选择表明，非忽略性模型在模拟的非忽略性非响应数据中显著优于忽略性模型。
• 该模型的最大边际似然（MML）估计被证明是一致的，确保在所提出的缺失机制下可进行有效推断。
• 在PISA数据分析中，模型成功捕捉到缺失性的非忽略性特征，揭示低能力学生更可能遗漏或未触及项目。
• MCMC抽样过程表现出稳定的收敛性与可靠的后验估计，有效样本量足以支持推断。
• 在CPO计算中使用U_ij,max确保了LPML估计的数值稳定性，避免了高维缺失数据模型中常见的问题。