[论文解读] Bayesian Paired-Comparison with the bpcs Package

David Issa Mattos, Érika Martins Silva Ramos|arXiv (Cornell University)|Jan 27, 2021

Statistical Methods and Bayesian Inference参考文献 49被引用 4

一句话总结

本文介绍了 bpcs R 包，该包使用 Stan 实现贝叶斯配对比较模型，为行为研究中的配对比较数据提供稳健、灵活的分析方法。该方法可在不可识别似然下进行估计，提供可信区间，处理平局和顺序效应，并提供对排名和成对概率的后验推断——通过三个研究的重新分析，展示了其在模型稳定性和可解释性方面优于频率学派方法。

ABSTRACT

This article introduces the bpcs R package (Bayesian Paired Comparison in Stan) and the statistical models implemented in the package. This package aims to facilitate the use of Bayesian models for paired comparison data in behavioral research. Bayesian analysis of paired comparison data allows parameter estimation even in conditions where the maximum likelihood does not exist, allows easy extension of paired comparison models, provide straightforward interpretation of the results with credible intervals, have better control of type I error, have more robust evidence towards the null hypothesis, allows propagation of uncertainties, includes prior information, and perform well when handling models with many parameters and latent variables. The bpcs package provides a consistent interface for R users and several functions to evaluate the posterior distribution of all parameters, to estimate the posterior distribution of any contest between items, and to obtain the posterior distribution of the ranks. Three reanalyses of recent studies that used the frequentist Bradley-Terry model are presented. These reanalyses are conducted with the Bayesian models of the bpcs package, and all the code used to fit the models, generate the figures, and the tables are available in the online appendix.

研究动机与目标

• 为解决频率学派配对比较模型的局限性，如最大似然估计不可识别和第一类错误控制不佳。
• 为频率学派 Bradley-Terry 模型及其扩展提供全面、用户友好的贝叶斯替代方案。
• 使研究人员能够纳入先验知识，处理潜变量，并在参数估计中传播不确定性。
• 提供用于后验推断成对比较、排名和模型预测的工具，包含可信区间。
• 通过三个真实世界行为科学研究的重新分析，展示贝叶斯建模的优势。

提出的方法

• 使用 Stan 通过马尔可夫链蒙特卡洛（MCMC）抽样进行完整的贝叶斯推断，以估计参数的后验分布。
• 实现贝叶斯 Bradley-Terry 模型及其扩展，包括用于处理平局结果的 Davidson 模型以及包含顺序效应的模型。
• 支持具有个体特异性预测变量（如 HLOC 维度）的分层建模，以及用于项目水平协变量的广义线性模型。
• 提供函数以计算项目排名和项目间成对比较的后验概率。
• 使用最高后验密度（HPD）区间进行可信区间估计和模型诊断。
• 提供一致的 R 接口，包含模型拟合、后验总结和结果可视化功能。

实验结果

研究问题

• RQ1 当最大似然估计失效时，贝叶斯建模如何改善配对比较数据中的参数估计？
• RQ2 在第一类错误控制和对零假设的证据方面，贝叶斯方法提供了哪些优势？
• RQ3 个体特异性预测变量（如 HLOC 维度）如何影响角色偏好任务中选择某一角色而非另一角色的概率？
• RQ4 像平局和顺序效应这样的模型扩展在真实世界的行为数据中在拟合度和可解释性方面能提升多少？
• RQ5 与频率学派点估计相比，排名和成对比较的后验分布在不确定性与稳健性方面有何差异？

主要发现

• 即使在最大似然估计失效的情况下，贝叶斯模型仍成功估计了参数，表明其在稀疏或不平衡数据中具有稳健性。
• 在角色偏好研究中，一个 HLOC 内部维度比平均值低两个标准差的个体，选择“主动”而非“被动”的概率为 0.80，而平均个体为 0.88，表明存在微小但可测量的影响。
• 当“医生” HLOC 维度比平均值高两个标准差时，选择“主动”而非“被动”的概率下降至 0.78，表明其具有适度但显著的影响。
• 对于平均个体，选择“协作型”而非“被动协作型”的后验概率为 0.98，当“机会” HLOC 维度比平均值高两个标准差时，该概率降至 0.94。
• 包含个体特异性预测变量的模型改善了拟合度，但基础角色系数对选择概率差异的贡献大于预测变量本身。
• 所有重新分析结果表明，贝叶斯模型通过可信区间和后预测分布，提供了更清晰、更易解释的不确定性估计。