[论文解读] LNIRT: An R Package for Joint Modeling of Response Accuracy and Times

Jean‐Paul Fox, Konrad Klotzke+1 more|arXiv (Cornell University)|Jun 18, 2021

Statistical Methods and Bayesian Inference参考文献 27被引用 8

一句话总结

LNIRT R 包通过使用层次化项目反应理论模型，实现了基于计算机测试中响应准确性和响应时间的贝叶斯联合建模。它采用高效的吉布斯抽样进行 MCMC 估计，支持多种参数化方式，能够处理缺失数据，并包含模型拟合评估和异常值检测工具，显著提升了教育评估中速度-准确性权衡分析的精度。

ABSTRACT

In extit{computer-based testing} it has become standard to collect response accuracy (RA) and response times (RTs) for each test item. IRT models are used to measure a latent variable (e.g., ability, intelligence) using the RA observations. The information in the RTs can help to improve routine operations in (educational) testing, and provide information about speed of working. In modern applications, the joint models are needed to integrate RT information in a test analysis. The R-package LNIRT supports fitting joint models through a user-friendly setup which only requires specifying RA, RT data, and the total number of Gibbs sampling iterations. More detailed specifications of the analysis are optional. The main results can be reported through the summary functions, but output can also be analysed with Markov chain Monte Carlo (MCMC) output tools (i.e., coda, mcmcse). The main functionality of the LNIRT package is illustrated with two real data applications.

研究动机与目标

• 为解决教育测试中响应准确性（RA）和响应时间（RTs）联合建模缺乏可用软件工具的问题。
• 开发一个开源、可维护的 R 包，支持对 RA 和 RT 数据的高级贝叶斯估计，适用于分层联合模型。
• 集成现代扩展功能，如解释变量、缺失数据处理（MAR 和缺失设计型缺失），以及灵活的参数化方式。
• 提供稳健的模型拟合评估工具，用于个体和项目拟合，包括贝叶斯显著性检验和残差分析。
• 实现高效的 MCMC 抽样，具有低自相关性和高有效样本量，性能和可识别性优于黑箱 MCMC 方法。

提出的方法

• 采用分层贝叶斯框架，其中响应准确性遵循两参数正态曲角 IRT 模型，响应时间呈对数正态分布，并在对数转换后的响应时间上使用正态模型。
• 采用吉布斯抽样进行后验估计，设计了定制化抽样器以优化收敛速度和有效样本量，避免了黑箱 MCMC 工具的局限性。
• 支持联合模型的多种参数化方式，包括 van der Linden（2007）和 Klein Entink 等人（2009）的参数化，提升对速度与能力建模的灵活性。
• 在个体和项目层面整合解释变量，以建模速度和准确性中的异质性，支持基于协变量的建模。
• 集成缺失数据的多重插补方法，适用于 MAR 和缺失设计型缺失条件，确保在不完整测试设计下的稳健性。
• 提供基于后验预测检查和贝叶斯显著性检验的个体拟合与项目拟合评估工具，用于检测异常响应模式。

实验结果

研究问题

• RQ1 联合建模响应准确性和响应时间在计算机化测试中如何提升能力与速度估计的精度？
• RQ2 在高维分层模型中，使用定制吉布斯抽样相较于黑箱 MCMC 工具，在收敛速度和有效样本量方面有何优势？
• RQ3 在个体和项目层面引入解释变量在多大程度上能改善对速度-准确性权衡的建模？
• RQ4 在联合建模框架中，如何有效处理响应准确性和响应时间中的缺失数据？
• RQ5 贝叶斯模型拟合诊断能否基于联合的 RA 和 RT 模式检测出异常考生和问题项目？

主要发现

• LNIRT 包成功实现了使用定制吉布斯抽样器的高效贝叶斯联合建模，其收敛速度更快、有效样本量更高，优于黑箱 MCMC 方法。
• 该包支持联合模型的多种参数化方式，包括 van der Linden（2007）和 Klein Entink 等人（2009）的参数化，增强了其在不同测试情境下的适用性。
• 通过广泛的残差分析和贝叶斯拟合统计量，能够可靠地检测基于联合 RA 和 RT 模式的异常考生和拟合不佳的项目。
• 该包在 MAR 和缺失设计型缺失假设下均能有效处理缺失数据，保持模型有效性与估计精度。
• 基于 R 的实现确保了开放获取、可扩展性和可维护性，克服了原有 cirt FORTRAN 程序的局限性。
• 该包支持在个体和项目层面引入解释变量，使得对个体和项目层面速度与准确性差异的建模更加细致入微。