[논문 리뷰] Bayes factor functions for reporting outcomes of hypothesis tests

Valen E. Johnson, Sandipan Pramanik외 1명|arXiv (Cornell University)|2022. 09. 30.

Meta-analysis and systematic reviews인용 수 4

한 줄 요약

이 논문은 표준 검정 통계량(z, t, F, χ²)에서 비중앙모수를 표준화된 효과크기와 연결하여 직접 베이즈 요인을 계산하는 베이즈 요인 함수(Bayes Factor Functions, BFFs)를 제안한다. 비중앙모수에 대한 사전분포를 비국소 사전분포로 표현하고 닫힌 형태의 계산을 가능하게 함으로써, 임의의 p-값 기준선 없이 직관적이고 집계에 적합한 증거 보고가 가능해진다.

ABSTRACT

Bayes factors represent the ratio of probabilities assigned to data by competing scientific hypotheses. Drawbacks of Bayes factors are their dependence on prior specifications that define null and alternative hypotheses and difficulties encountered in their computation. To address these problems, we define Bayes factor functions (BFF) directly from common test statistics. BFFs depend on a single non-centrality parameter that can be expressed as a function of standardized effect sizes, and plots of BFFs versus effect size provide informative summaries of hypothesis tests that can be easily aggregated across studies. Such summaries eliminate the need for arbitrary P-value thresholds to define ``statistical significance.'' BFFs are available in closed form and can be computed easily from z, t, chi-squared, and F statistics.

연구 동기 및 목표

• p-값의 오해와 임의의 유의수준 기준선 등의 문제점을 해결하기 위해 더 해석 가능한 증거 측정법을 제안하기 위해.
• 베이즈 요인이 사전 분포 설정에 민감하고 계산이 복잡한 문제를 해결하기 위해 일반적인 검정 통계량에서 베이즈 요인들을 유도함으로써.
• 다양한 연구에서 보고된 통계량만을 사용하여 증거를 통합할 수 있도록 하여 재현 가능성을 향상시키기 위해.
• 사전 가정과 베이즈 요인 간의 관계를 표준화된 효과크기와 연결함으로써 더 투명하게 만들기 위해.
• 계산이 효율적이고 닫힌 형태의 방법을 개발하여 진정한 효과 탐지와 진짜 귀무가설에 대한 증거 축적을 모두 지원하기 위해.

제안 방법

• z, t, F, χ² 검정 통계량의 渐近 비중앙 분포를 이용하여, 직접적으로 비중앙모수를 기반으로 베이즈 요인을 유도함으로써 베이즈 요인 함수(BFFs)를 정의한다.
• 비중앙모수에 대한 사전분포를 표준화된 효과크기(예: RMSES)의 함수로 표현함으로써, 사전가정을 더 해석 가능하게 만든다.
• 비중앙모수에 비국소 대안 사전분포(NAPs)를 사용하며, 이는 귀무가설에서 값이 0이 되므로 진짜 귀무가설에 대한 증거 축적이 더 빠르게 이루어지도록 한다.
• 표준화된 효과크기의 범위에서 베이즈 요인을 그림으로 표현하여 증거의 연속적 요약을 제공하는 BFFs를 구성한다.
• 비중앙모수에 정규-모멘트 및 감마 사전분포를 적용할 경우, 베이즈 요인에 대한 닫힌 형태의 표현식을 도출함으로써 계산 효율성을 확보한다.
• 일관된 초모수를 사용하여 식 (24)에 따라 개별 베이즈 요인들을 곱하여 독립된 연구들 간의 증거를 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 복잡한 수치적 통합이 필요 없이 표준 검정 통계량에서 직접적으로 베이즈 요인을 계산할 수 있는 방법은 무엇인가?
• RQ2 대안가설에 대한 사전분포를 표준화된 효과크기의 관점에서 더 투명하고 해석 가능하게 만들 수 있는가?
• RQ3 비중앙모수에 비국소 사전분포를 적용하면 진짜 귀무가설과 진짜 대립가설에 모두 증거 축적이 향상되는가?
• RQ4 보고된 통계량과 표본크기만을 사용하여 다수의 연구에서의 베이즈 요인을 어떻게 통합할 수 있는가?
• RQ5 BFFs는 임의의 p-값 기준선이 없이도 연속적이고 해석 가능한 증거 측정법을 제공할 수 있는가?

주요 결과

• 제안된 BFFs는 z, t, F, χ² 통계량에 대해 닫힌 형태로 제공되어 전용 소프트웨어 없이도 빠르고 신뢰할 수 있는 계산이 가능하다.
• 동일한 τ²에서, 동일한 검정 통계량(예: z와 z², t와 t²)으로부터 도출된 베이즈 요인은 일관성을 유지한다.
• 두 복제 연구의 통합 분 析에서, 표준화된 효과크기 0.14일 때 귀무가설에 대한 최대 베이즈 요인은 5:1이었다.
• BFFs는 소형에서 매우 소형 효과크기(RMSES > 0.05 및 < 0.28)에 강력한 지지를 보였지만, 복제 예제에서는 0.28를 초과하는 효과에는 지지를 보이지 않았다.
• 식 (24)에 따라 독립된 연구들의 베이즈 요인들을 곱하여 증거를 통합함으로써, 복제 연구 간에 증거 융합을 공식적이고 일관성 있게 수행할 수 있었다.
• 비중앙모수에 비국소 사전분포를 사용함으로써, 진짜 귀무가설에 대한 증거 축적이 더 빠르게 이루어지며, 기존의 베이즈 요인의 핵심적 한계를 해결한다.