[논문 리뷰] Approximating Bayes factors from minimal ANOVA summaries: An extension of the BIC method

Thomas J. Faulkenberry|arXiv (Cornell University)|2017. 10. 06.

Bayesian Modeling and Causal Inference참고 문헌 4인용 수 4

한 줄 요약

이 논문은 공개된 ANOVA 결과에서만 이용 가능한 정보인 *n*, *df₁*, 및 *F*를 사용하여 베이즈 요인을 근사하는 새로운 공식을 제안한다. 이는 원자료가 없을 경우에도 베이지안 가설 검증을 가능하게 하며, BIC 근사법을 확장하여 시뮬레이션에서 전체 자료를 사용한 베이지안 ANOVA와 강한 일치를 보이며, 메타분석 및 복제 연구에 매우 적합하다.

ABSTRACT

In this paper, I extend a method of Masson (2011) to develop an easy-to-use formula for performing Bayesian hypothesis tests from minimal ANOVA summaries.

연구 동기 및 목표

• 공개된 ANOVA 요약자료에 자주 포함되지 않는 제곱합(sum-of-squares) 값을 요구하는 기존 BIC 기반 베이즈 요인 방법의 한계를 해결하기 위해.
• 저널에서 흔히 보고되는 기본 ANOVA 출력인 *n*, 자유도, 및 *F*-통계량만으로도 베이지안 가설 검증을 가능하게 하기 위해.
• 메타분석을 수행하거나 원자료가 없을 때 비의미적인 결과를 평가하는 연구자들이 사용할 수 있는 실용적이고 접근성 있는 공식을 제공하기 위해.
• 시뮬레이션 연구를 통해 전체 자료를 사용한 베이지안 ANOVA 결과와의 정확도를 검증하기 위해.

제안 방법

• ANOVA에서의 총 표본 크기 *n*, 효과 자유도 *df₁*, 및 *F*-통계량만을 사용하여 베이즈 요인 *BF₀₁*의 닫힌 형태 식을 유도한다.
• 제곱합 비율을 *F*-비율로 대체함으로써 BIC 차이 공식 ΔBIC₁₀를 *F*, *df₁*, *df₂*, 및 *n*의 함수로 변환한다.
• *F = (SS₁/df₁) / (SS₂/df₂)* 식을 이용해 제곱합 값을 제거하고, BIC 차이를 오직 *F*, *df₁*, *df₂*, 및 *n*의 함수로 표현한다.
• 최종 공식인 *BF₀₁ = √[n^df₁ × (1 + (F×df₁)/df₂)^(-n)]* 를 유도하며, 이는 계산이 단순하고 공개된 결과에서 직접 사용 가능하다.
• 9가지 조건(3개의 표본 크기 × 3개의 효과 크기)에서 시뮬레이션을 수행하여 BIC 근사법과 원자료를 사용한 BayesFactor R 패키지 결과를 비교함으로써 방법의 타당성을 검증한다.
• 모델 선택에서의 일致성 평가를 위해 log(BF) > 0 기준을 사용하여 BIC 근사법과 전체 베이지안 ANOVA 간의 일致성을 평가한다.

실험 결과

연구 질문

• RQ1 제곱합 또는 원자료에 접근할 수 없을 때 *n*, *df₁*, 및 *F*만으로 베이즈 요인을 정확하게 근사할 수 있는가?
• RQ2 제안된 BIC 기반 근사법이 원자료를 사용해 계산한 베이즈요인과 얼마나 유사한가?
• RQ3 다양한 표본 크기와 효과 크기에서 BIC 근사법과 전체 베이지안 ANOVA가 모델 선택(귀무가설 대 대립가설)에서 얼마나 일致하는가?
• RQ4 공개된 ANOVA 요약자료만 이용 가능한 메타분석적 맥락에서 이 방법이 충분히 강건하고 신뢰할 수 있는가?

주요 결과

• 제안된 공식 *BF₀₁ = √[n^df₁ × (1 + (F×df₁)/df₂)^(-n)]* 는 공개된 ANOVA 결과에서만 *n*, *df₁*, 및 *F*를 사용하여 정확한 베이즈 요인 추정이 가능하다.
• *n* = 50 조건에서의 시뮬레이션 결과, BIC 근사법과 전체 베이지안 ANOVA는 매우 유사한 베이즈 요인 분포를 보였으며, *g* = 0(효과 없음)일 경우 99.1%의 일치, *g* = 0.05일 경우 96.8%, *g* = 0.2일 경우 97.6%의 일치를 보였다.
• 모델 선택에서도 강력한 일致성을 보였으며, 모든 효과 크기 및 표본 크기 조건에서 일치율이 96%를 초과했다.
• Fayol & Thevenot(1998)의 사례에서 이 방법은 *BF₀₁* = 1.757을 산출하였으며, 이는 비의미적인 *F*-검정(*F*(1,17) = 1.75, *p* = .20)에도 불구하고 귀무가설에 대한 약한 증거를 의미한다.
• 작은 효과 크기(*g* = 0.05)와 중간 표본 크기(*n* = 20) 조건에서도 BIC 근사법이 잘 작동하여 다양한 조건에서 강건함을 입증했다.
• 원자료가 없지만 공개된 ANOVA 요약자료가 흔한 메타분석 및 복제 연구에 특히 적합하다.