[论文解读] BFpack: Flexible Bayes Factor Testing of Scientific Theories in R

Joris Mulder, Xin Gu+11 more|Research portal (Tilburg University)|Nov 18, 2019

Advanced Statistical Methods and Models参考文献 13被引用 7

一句话总结

BFpack 是一个 R 包，可为社会科学和行为科学中的常见统计模型提供灵活的贝叶斯因子假设检验，支持探索性检验（零假设 vs. 正向/负向效应）和验证性检验（含相等性和顺序约束）。该包可与标准 R 建模函数（如 lm、glm 和 lmer）无缝集成，并在存在缺失数据的情况下，仍能提供可解释的贝叶斯因子和后验概率，为原点假设显著性检验提供直接替代方案。

ABSTRACT

There has been a tremendous methodological development of Bayes factors for hypothesis testing in the social and behavioral sciences, and related fields. This development is due to the flexibility of the Bayes factor for testing multiple hypotheses simultaneously, the ability to test complex hypotheses involving equality as well as order constraints on the parameters of interest, and the interpretability of the outcome as the weight of evidence provided by the data in support of competing scientific theories. The available software tools for Bayesian hypothesis testing are still limited however. In this paper we present a new R-package called BFpack that contains functions for Bayes factor hypothesis testing for the many common testing problems. The software includes novel tools (i) for Bayesian exploratory testing (null vs positive vs negative effects), (ii) for Bayesian confirmatory testing (competing hypotheses with equality and/or order constraints), (iii) for common statistical analyses, such as linear regression, generalized linear models, (multivariate) analysis of (co)variance, correlation analysis, and random intercept models, (iv) using default priors, and (v) while allowing data to contain missing observations that are missing at random.

研究动机与目标

• 为社会和行为科学中日益增长的超越传统原点假设显著性检验的贝叶斯假设检验需求提供解决方案。
• 提供一个用户友好的 R 包，用于计算多个假设的贝叶斯因子，包括对参数具有相等性和顺序约束的假设。
• 使用默认先验和对缺失数据的稳健处理，支持探索性和验证性贝叶斯检验。
• 与成熟的 R 建模函数（如 lm、glm、lmer）集成，便于研究人员无缝使用。
• 提供可解释的结果，如贝叶斯因子和后验概率，用于量化支持不同科学理论的证据。

提出的方法

• 该包使用一个单一、统一的函数 BF，接受拟合的模型对象（如来自 lm、glm、lmer 的结果）和一个指定竞争假设的假设字符串。
• 在验证性检验中，通过指定模型参数之间相等性和/或顺序约束的字符串来定义假设（例如，'beta1 < beta2 < beta3'）。
• 贝叶斯因子基于近期在位置参数、方差成分和关联度量的贝叶斯检验方面的进展，使用默认先验进行计算。
• 通过在贝叶斯框架内整合完整似然推断，支持缺失数据随机（MAR）的情况。
• 后验概率由贝叶斯因子和先验几率推导得出，支持对多个假设进行直接比较。
• 该包利用现有的 R 建模基础设施，确保兼容性和易用性。

实验结果

研究问题

• RQ1 研究人员如何在 R 中使用贝叶斯方法测试涉及参数顺序和相等性约束的复杂科学假设？
• RQ2 在常见统计模型中，数据对多个竞争假设（包括有序和相等约束模型）的相对证据是什么？
• RQ3 与经典显著性检验相比，贝叶斯因子检验在可解释性和一致性方面表现如何？
• RQ4 贝叶斯因子检验能否有效应用于存在缺失数据的模型，特别是在多层和混合效应设置中？
• RQ5 在验证性检验中，后验概率在观察数据后在多大程度上反映了对科学理论信念的更新？

主要发现

• 在 TIMSS 2011 的应用中，顺序约束假设（NL < HR < DE < DK）的后验概率为 0.509，表明数据强烈支持各国间组内相关系数的有序模式。
• 相等性假设（所有 ICC 相等）的后验概率为 0.471，表明其支持程度与有序假设几乎相当。
• 补集假设（其他任何配置）的后验概率仅为 0.020，表明支持程度极低。
• ICC 的后验均值估计接近 REML 估计值，且 95% 可信区间覆盖了 REML 值，表明结果稳健且一致。
• 探索性检验确认所有 ICC 均为正（后验概率 = 1.0），支持对数据使用多层次建模。
• 该包在 MAR 假设下成功处理了缺失数据，在所有应用中均保持了准确的推断。