[论文解读] Bayes factor functions for reporting outcomes of hypothesis tests

Valen E. Johnson, Sandipan Pramanik+1 more|arXiv (Cornell University)|Sep 30, 2022

Meta-analysis and systematic reviews被引用 4

一句话总结

本文提出了贝叶斯因子函数（BFFs），通过将非非中心参数与标准化效应量关联，直接从标准检验统计量（z, t, F, χ²）计算贝叶斯因子。通过将非中心参数上的先验分布表示为非局部先验，并实现闭式计算，BFFs 允许在不使用任意 p 值阈值的情况下，直观且可聚合地报告证据，适用于多研究整合。

ABSTRACT

Bayes factors represent the ratio of probabilities assigned to data by competing scientific hypotheses. Drawbacks of Bayes factors are their dependence on prior specifications that define null and alternative hypotheses and difficulties encountered in their computation. To address these problems, we define Bayes factor functions (BFF) directly from common test statistics. BFFs depend on a single non-centrality parameter that can be expressed as a function of standardized effect sizes, and plots of BFFs versus effect size provide informative summaries of hypothesis tests that can be easily aggregated across studies. Such summaries eliminate the need for arbitrary P-value thresholds to define ``statistical significance.'' BFFs are available in closed form and can be computed easily from z, t, chi-squared, and F statistics.

研究动机与目标

• 为解决 p 值的局限性，包括误读和任意显著性阈值，提出一种更具可解释性的证据度量。
• 通过从常见检验统计量推导贝叶斯因子，克服贝叶斯因子对先验设定的敏感性及计算复杂性。
• 仅使用报告的检验统计量，实现多研究证据的整合，提升可重复性。
• 通过将先验假设与标准化效应量关联，使先验假设与贝叶斯因子之间的联系更加透明。
• 开发一种计算高效、闭式表达的贝叶斯因子方法，支持对真实效应的检测以及对真实零假设的证据累积。

提出的方法

• 通过利用检验统计量的渐近非中心分布，直接从 z、t、F 和 χ² 检验统计量推导贝叶斯因子，定义贝叶斯因子函数（BFFs）。
• 将非中心参数上的先验分布表示为标准化效应量（如 RMSES）的函数，使先验假设更具可解释性。
• 在非中心参数上使用非局部备择先验（NAPs），其在原假设处为零，从而加快对真实零假设的证据累积。
• 将 BFFs 构建为贝叶斯因子在一系列标准化效应量上的图示，提供证据的连续总结。
• 推导出在非中心参数上采用正态-矩母函数和伽马先验时的贝叶斯因子闭式表达式，确保计算效率。
• 通过乘法合并独立研究的贝叶斯因子（如公式 (24) 所示），使用一致的超参数，实现证据的聚合。

实验结果

研究问题

• RQ1 如何在不依赖复杂数值积分的情况下，直接从标准检验统计量计算贝叶斯因子？
• RQ2 如何使备择假设上的先验分布在标准化效应量的语境下更加透明和可解释？
• RQ3 在非中心参数上使用非局部先验是否能改善对真实零假设和真实备择假设的证据累积？
• RQ4 如何仅使用报告的检验统计量和样本量，将多个研究的贝叶斯因子进行合并？
• RQ5 BFFs 是否能消除对任意 p 值阈值的依赖，同时提供一种连续且可解释的证据度量？

主要发现

• 所提出的 BFFs 对 z、t、F 和 χ² 统计量均具有闭式表达，无需专用软件即可实现快速可靠的计算。
• 由相同检验统计量（如 z 和 z²、t 和 t²）推导出的贝叶斯因子在相同 τ² 下保持不变，确保了不同检验类型间的一致性。
• 在两项复制研究的合并分析中，对原假设的最大贝叶斯因子为 5:1，对应标准化效应量为 0.14。
• BFFs 对小到极小效应量（RMSES > 0.05 且 < 0.28）表现出强烈支持，但在复制示例中对效应量大于 0.28 的情况无支持。
• 通过乘法合并独立研究的贝叶斯因子（公式 24）提供了一种正式且一致的证据综合方法，适用于复制研究。
• 在非中心参数上使用非局部先验，可加快对真实零假设的证据累积，解决了传统贝叶斯因子的一项关键局限。