[論文レビュー] Bayes factor functions for reporting outcomes of hypothesis tests

Valen E. Johnson, Sandipan Pramanik+1 more|arXiv (Cornell University)|Sep 30, 2022

Meta-analysis and systematic reviews被引用数 4

ひとこと要約

この論文は、標準的検定統計量（z、t、F、χ²）から非心母数を介して標準化効果量に関連付けることにより、ベイズ因子を直接計算するベイズ因子関数（BFFs）を導入する。非心母数上の事前分布を非局所事前分布として表現し、閉形式での計算を可能にすることで、恣意的なp値の閾値を避けつつ、研究間で集約可能な直感的で明確な証拠報告が可能になる。

ABSTRACT

Bayes factors represent the ratio of probabilities assigned to data by competing scientific hypotheses. Drawbacks of Bayes factors are their dependence on prior specifications that define null and alternative hypotheses and difficulties encountered in their computation. To address these problems, we define Bayes factor functions (BFF) directly from common test statistics. BFFs depend on a single non-centrality parameter that can be expressed as a function of standardized effect sizes, and plots of BFFs versus effect size provide informative summaries of hypothesis tests that can be easily aggregated across studies. Such summaries eliminate the need for arbitrary P-value thresholds to define ``statistical significance.'' BFFs are available in closed form and can be computed easily from z, t, chi-squared, and F statistics.

研究の動機と目的

• p値の誤解や恣意的な有意水準の限界を是正し、より解釈可能な証拠の測定を提供すること。
• ベイズ因子の事前分布への感受性と計算の複雑さを克服し、一般的な検定統計量から派生させること。
• 報告された検定統計量のみを用いて複数の研究の証拠を統合できるようにし、再現性を高めること。
• 事前仮定とベイズ因子の関係を標準化効果量に結びつけることで、より透明性を高めること。
• 計算が効率的で閉形式の方法としてのベイズ因子を構築し、真の効果の検出および真の帰無仮説に対する証拠の蓄積を支援すること。

提案手法

• z、t、F、χ²の検定統計量の漸近的非心分布を用いて、非心母数に基づきベイズ因子を直接導出することにより、ベイズ因子関数（BFFs）を定義する。
• 非心母数上の事前分布を標準化効果量（例：RMSES）の関数として表現することで、事前仮定をより解釈可能にする。
• 帰無仮説における値がゼロとなる非局所代替事前分布（NAPs）を非心母数に適用し、真の帰無仮説における証拠の迅速な蓄積を可能にする。
• 標準化効果量の範囲におけるベイズ因子のプロットとしてBFFsを構築し、証拠の連続的要約を提供する。
• 非心母数に正規・モーメント分布およびガンマ分布の事前分布を仮定した場合のベイズ因子の閉形式表現を導出することで、計算の効率性を保証する。
• 一貫したハイパーパrameterを用いて、独立した研究間の証拠を乗算（式(24)で示す）により統合可能にする。

実験結果

リサーチクエスチョン

• RQ1 複雑な数値積分を必要とせず、標準的検定統計量から直接ベイズ因子を計算する方法は何か？
• RQ2 代替仮説上の事前分布を標準化効果量の観点から、より透明かつ解釈可能にする方法は何か？
• RQ3 非心母数に非局所事前分布を適用することで、真の帰無仮説および真の対立仮説の両方に対する証拠の蓄積が改善されるか？
• RQ4 報告された検定統計量とサンプルサイズのみを用いて、複数の研究からのベイズ因子をどのように統合できるか？
• RQ5 BFFsは恣意的なp値の閾値を排除しつつ、連続的かつ解釈可能な証拠の測定を提供できるか？

主な発見

• z、t、F、χ²の統計量について、BFFsが閉形式で得られ、専用ソフトウェアを必要とせず、高速かつ信頼性の高い計算が可能になる。
• 同じτ²の下で、同一の検定統計量（例：zとz²、tとt²）から得られるベイズ因子は不変であり、検定タイプ間での一貫性が保たれる。
• 2つの再現研究の統合解析において、標準化効果量が0.14のとき、帰無仮説に対する最大ベイズ因子は5:1であった。
• BFFsは、小および非常に小さな効果量（RMSES > 0.05 かつ < 0.28）に対して強い支持を示すが、0.28を超える効果量に対しては支持を示さない。
• 独立した研究からのベイズ因子を乗算（式(24)）により統合することで、再現研究間の証拠統合に形式的かつ一貫性のある方法が提供される。
• 非心母数に非局所事前分布を適用することで、真の帰無仮説に対する証拠の蓄積が高速化され、従来のベイズ因子の主な限界が是正される。