[论文解读] Bayesian Item Response Modeling in R with brms and Stan

Paul‐Christian Bürkner|arXiv (Cornell University)|May 23, 2019

Mental Health Research Topics参考文献 61被引用 103

一句话总结

展示在 R 中使用 brms 和 Stan 的贝叶斯 IRT 建模，能够在协变量、先验和模型比较的条件下，灵活、分层、分布式的 IRT 规范。

ABSTRACT

Item Response Theory (IRT) is widely applied in the human sciences to model persons' responses on a set of items measuring one or more latent constructs. While several R packages have been developed that implement IRT models, they tend to be restricted to respective prespecified classes of models. Further, most implementations are frequentist while the availability of Bayesian methods remains comparably limited. We demonstrate how to use the R package brms together with the probabilistic programming language Stan to specify and fit a wide range of Bayesian IRT models using flexible and intuitive multilevel formula syntax. Further, item and person parameters can be related in both a linear or non-linear manner. Various distributions for categorical, ordinal, and continuous responses are supported. Users may even define their own custom response distribution for use in the presented framework. Common IRT model classes that can be specified natively in the presented framework include 1PL and 2PL logistic models optionally also containing guessing parameters, graded response and partial credit ordinal models, as well as drift diffusion models of response times coupled with binary decisions. Posterior distributions of item and person parameters can be conveniently extracted and post-processed. Model fit can be evaluated and compared using Bayes factors and efficient cross-validation procedures.

研究动机与目标

• 基于 brms 和 Stan 引入一个灵活的贝叶斯 IRT 框架。
• 展示如何在多层公式语法中指定和拟合广泛的 IRT 模型。
• 解释如何将协变量、 DIF（差异项）和分布参数纳入 IRT 模型。
• 在贝叶斯背景下讨论个人/项目参数的先验选择和模型识别。
• 提供实际的动手示例和在真实数据中应用框架的指导。

提出的方法

• 使用 brms 的非线性/多层公式语法来指定分布式 IRT 模型。
• 利用 Stan 进行基于 MCMC 的贝叶斯估计，使用自适应哈密顿蒙特卡洛。
• 支持超过 40 种内置响应分布，并允许用户自定义分布。
• 对个体和条目建模固定和随机效应，包括协变量效应及交互作用。
• 引入分层（部分汇聚）先验和 LKJ 先验以处理相关结构。
• 提供模型比较的方法（如 Bayes 因子、交叉验证）和后处理后验分布的方法。

实验结果

研究问题

• RQ1 如何在一个单一、灵活的框架中使用 brms 和 Stan 指定贝叶斯 IRT 模型？
• RQ2 可以用这种方法实现和估计的响应分布和非线性/分布式 IRT 模型有哪些？
• RQ3 如何纳入协变量、差分项功能 DIF 和先验以改进估计与推断？
• RQ4 在贝叶斯 IRT 中关于模型识别、先验选择和模型比较的实际指南有哪些？
• RQ5 如何在实际数据中使用该框架，通过动手示例解决应用 IRT 问题？

主要发现

• brms/Stan 框架支持各种 IRT 模型，包括 1PL、2PL、3PL、GRM、PCM、RPCM，以及漂移-扩散变体，覆盖多种响应类型。
• 用户可以指定非线性和分布预测变量，从而在项目区分度和其他参数随协变量变化或依赖时实现灵活建模。
• 先验可以在个人和项目层面设置，提供非分层和分层（部分汇聚）结构的选项，包括用于相关性的 LKJ 先验。
• 该框架允许使用 Bayes 因子进行贝叶斯模型比较，并可高效进行交叉验证以评估模型。
• 常见的 IRT 问题如 DIF 可以通过交互项和协变量选择方法在贝叶斯框架内进行探索。
• 所有材料和示例都在 GitHub 上提供，并给出具体的 brms 版本要求（2.11.5+）以复现结果。