[논문 리뷰] Hidden Multiplicity in Multiway ANOVA: Prevalence, Consequences, and Remedies

Angélique O. J. Cramer, Don van Ravenzwaaij외 6명|arXiv (Cornell University)|2014. 12. 10.

Statistical Methods in Clinical Trials참고 문헌 32인용 수 5

한 줄 요약

이 논문은 다중요인 분산분석(ANOVA)이 본질적으로 다중 비교 문제를 수반하며, 두 개의 주효과와 상호작용 효과를 검정하는 세 개의 독립적 귀무가설이 존재할 경우, 유의수준(α)을 5%로 설정할 때 I류 오류 확률이 14%로 증가함을 드러낸다. 연구는 이러한 문제에 대해 연구자가 거의 보정하지 않는다는 점을 입증하며, 순차적 보너피 보정을 적용할 경우 분석된 60篇의 논문 중 75%에서 연구 결과의 해석이 달라짐을 보여주어, 보정 방법과 사전등록을 통해 숨겨진 다중성 문제를 해결할 것을 주장한다.

ABSTRACT

Many empirical researchers do not realize that the common multiway analysis of variance (ANOVA) harbors a multiple comparison problem. In the case of two factors, three separate null hypotheses are subject to test (i.e., two main effects and one interaction). Consequently, the probability of at least one Type I error (if all null hypotheses are true) is 14% rather than 5% if the three tests are independent. We explain the multiple comparison problem and demonstrate that researchers almost never correct for it. We describe one of several correction procedures (i.e., sequential Bonferroni), and show that its application alters at least one of the substantive conclusions in 45 out of 60 articles considered. An additional method to mitigate the multiplicity in multiway ANOVA is preregistration of hypotheses.

연구 동기 및 목표

• 다중요인 ANOVA에서 세 개의 독립적 검정이 이루어지며, 이로 인해 가족-wise 오류율이 5%에서 14%로 증가하는 것으로 알려지지 않은 다중 비교 문제를 드러내는 것.
• 출판된 연구에서 이러한 다중성 문제에 대해 연구자가 거의 보정하지 않는다는 사실을 기록하는 것.
• 특히 순차적 보너피 보정을 포함한 보정 절차가 실증 논문의 주요 결론에 어떤 영향을 미치는지 평가하는 것.
• 통계적 보정 및 사전등록을 포함한 개선 방안을 제안하여 다중요인 ANOVA에서의 잘못된 양성 결과 위험을 줄이는 것.

제안 방법

• 다중요인 ANOVA에서 검정된 세 개의 귀무가설을 식별: 두 개의 주효과와 하나의 상호작용 효과, 각각 α = 0.05 수준에서 검정.
• 세 검정 간 상관성이 없다는 가정 하에 가족-wise 오류율(FWER)을 계산하여, 최소한 한 번의 I류 오류가 발생할 확률이 14%가 됨을 도출.
• 순차적 보너피 보정 절차를 적용: p-값을 순서대로 정렬하고, 점진적으로 감소하는 유의수준(예: α/k, α/(k-1), 등)과 비교.
• 다중요인 ANOVA를 사용한 60篇의 실증 논문을 체계적으로 검토하여, 보정되지 않은 p-값이 유의미한 결과를 도출하는지, 그리고 보정을 적용할 경우 연구 결론이 어떻게 달라지는지 평가.
• 다중요인 ANOVA에서 데이터 기반 추론의 위험을 줄이기 위해, 사전등록을 통한 가설 사전 설정을 방법론적 해결책으로 제안.

실험 결과

연구 질문

• RQ1 세 개의 독립적 귀무가설을 α = 0.05 수준에서 검정할 때, 이원 요인 다중요인 ANOVA에서 실제 가족-wise 오류율은 얼마인가?
• RQ2 실제로 연구자들은 다중요인 ANOVA에서 다중 비교 문제를 어느 정도 보정하는가?
• RQ3 순차적 보너피 보정을 적용할 경우, 출판된 다중요인 ANOVA 연구의 주요 결론이 얼마나 자주 변경되는가?
• RQ4 다중요인 ANOVA에서 숨겨진 다중성으로 인한 I류 오류 위험을 줄이기 위한 실현 가능한 통계적 및 방법론적 해결책은 무엇인가?

주요 결과

• 모든 귀무가설이 참일 경우, 세 개의 독립적 검정이 이루어지는 이원 요인 다중요인 ANOVA에서 가족-wise 오류율은 14%이며, 이는 명시된 5% 유의수준을 크게 초과한다.
• 다중요인 ANOVA에서 다중 비교 문제에 대해 연구자가 거의 보정하지 않으며, 이는 이미 잘 알려진 통계적 함의에도 불구하고 그렇다.
• 순차적 보너피 보정을 적용한 결과, 분석된 60篇의 논문 중 45편(75%)에서 적어도 하나의 주요 결론이 변경되었다.
• 이 보정 절차는 단계적 방식으로 p-값을 조정하여 가족-wise 오류율을 통제함으로써, 잘못된 양성 결과 발생 가능성을 낮추었다.
• 사전에 가설을 정의하는 사전등록은 데이터 기반 가설 검증을 방지하고 다중성 관련 오류를 줄이기 위한 강력한 방법론적 해결책으로 확인되었다.