[论文解读] Approximating Bayes factors from minimal ANOVA summaries: An extension of the BIC method

Thomas J. Faulkenberry|arXiv (Cornell University)|Oct 6, 2017

Bayesian Modeling and Causal Inference参考文献 4被引用 4

一句话总结

本文提出了一种新公式，仅需 *n*、*df₁* 和 *F* 等最小 ANOVA 摘要信息，即可近似计算贝叶斯因子，使研究人员在仅有已发表 ANOVA 结果时也能进行贝叶斯假设检验。该方法扩展了 BIC 近似法，在模拟中与完整数据的贝叶斯 ANOVA 表现高度一致，适用于元分析和复制研究。

ABSTRACT

In this paper, I extend a method of Masson (2011) to develop an easy-to-use formula for performing Bayesian hypothesis tests from minimal ANOVA summaries.

研究动机与目标

• 解决现有基于 BIC 的贝叶斯因子方法的局限性，即这些方法通常需要平方和（sum-of-squares）值，而这些值在已发表的 ANOVA 摘要中并不总是可得。
• 实现仅使用常见于期刊发表的 ANOVA 基本输出（如 *n*、自由度和 *F*-统计量）进行贝叶斯假设检验。
• 为在缺乏原始数据的情况下开展元分析或评估非显著结果的研究人员，提供一种实用且易用的公式。
• 通过模拟研究，将该近似方法与基于完整数据的贝叶斯 ANOVA 进行对比，验证其准确性。

提出的方法

• 仅基于 *n*（总样本量）、*df₁*（效应自由度）和 ANOVA 中的 *F*-统计量，推导出贝叶斯因子 *BF₀₁* 的闭式表达式。
• 通过将平方和比率替换为 *F*-比率，将 BIC 差异公式 ΔBIC₁₀ 转化为 *F*、*df₁*、*df₂* 和 *n* 的函数。
• 利用恒等式 *F = (SS₁/df₁) / (SS₂/df₂)* 消除对平方和值的依赖，使 BIC 差异仅以 *F*、*df₁*、*df₂* 和 *n* 表示。
• 推导出最终公式：*BF₀₁ = √[n^df₁ × (1 + (F×df₁)/df₂)^(-n)]*，该公式计算简便，可直接从已发表结果中使用。
• 通过模拟研究验证该方法，涵盖 9 种条件（3 种样本量 × 3 种效应大小），将基于 BIC 的近似结果与使用 BayesFactor R 包在原始数据上计算的贝叶斯因子进行比较。
• 采用基于 log(BF) > 0 的决策标准，评估 BIC 近似与完整贝叶斯 ANOVA 在模型选择中的一致性。

实验结果

研究问题

• RQ1 是否可以在不访问平方和或原始数据的前提下，仅凭 *n*、*df₁* 和 *F* 准确近似计算贝叶斯因子？
• RQ2 所提出的基于 BIC 的近似方法与使用 BayesFactor R 包在完整数据上计算的贝叶斯因子在多大程度上一致？
• RQ3 在不同样本量和效应大小下，BIC 近似与完整贝叶斯 ANOVA 在模型选择（原假设 vs. 备择假设）上的一致性如何？
• RQ4 该方法在仅能获取已发表 ANOVA 摘要的元分析情境中是否足够稳健和可靠？

主要发现

• 所提出的公式 *BF₀₁ = √[n^df₁ × (1 + (F×df₁)/df₂)^(-n)]* 可仅使用已发表 ANOVA 结果中的 *n*、*df₁* 和 *F*，实现对贝叶斯因子的准确估计。
• 在 *n* = 50 的模拟中，BIC 近似与完整贝叶斯 ANOVA 产生的贝叶斯因子分布高度一致：当 *g* = 0（无效应）时，一致性达 99.1%；当 *g* = 0.05 时为 96.8%；当 *g* = 0.2 时为 97.6%。
• 该方法在模型选择中表现出强一致性，所有效应大小和样本量条件下的一致率均超过 96%。
• 以 Fayol & Thevenot (1998) 的一个实例为例，该方法计算得 *BF₀₁* = 1.757，表明尽管 *F*-检验不显著（*F*(1,17) = 1.75，*p* = .20），对原假设的支持证据仍较弱。
• 即使在小效应大小（*g* = 0.05）和中等样本量（*n* = 20）下，BIC 近似仍表现良好，显示出在各种条件下的稳健性。
• 该方法特别适用于元分析和复制研究，因为在这些情境中原始数据通常不可得，但已发表的 ANOVA 摘要却很常见。