[논문 리뷰] Hidden Multiplicity in Multiway ANOVA: Prevalence and Remedies

Angélique O. J. Cramer, Don van Ravenzwaaij외 6명|arXiv (Cornell University)|2014. 12. 10.

Statistical Methods in Clinical Trials인용 수 3

한 줄 요약

이 논문은 다중_way ANOVA에서 동시에 주효과와 상호작용을 검정할 경우, 모든 귀무가설이 참일 때 유의수준이 5%에서 14%로 증가하는 숨겨진 다중 비교 문제를 드러낸다. 연구는 종합 F 검정, 가족별 오류율 통제, 위임 오류율 통제, 사전 등록의 네 가지 해결책을 제안하며, 심리학 연구에서 이러한 보정이 널리 이루어지지 않고 있음을 입증한다.

ABSTRACT

Many psychologists do not realize that exploratory use of the popular multiway analysis of variance (ANOVA) harbors a multiple comparison problem. In the case of two factors, three separate null hypotheses are subject to test (i.e., two main effects and one interaction). Consequently, the probability of at least one Type I error (if all null hypotheses are true) is 14% rather than 5% if the three tests are independent. We explain the multiple comparison problem and demonstrate that researchers almost never correct for it. To mitigate the problem, we describe four remedies: the omnibus F test, the control of familywise error rate, the control of false discovery rate, and the preregistration of hypotheses.

연구 동기 및 목표

• 탐색적 다중_way ANOVA에서 동시에 여러 가설을 검정함에 있어 간과당하는 다중 비교 문제를 부각시키는 것.
• 모든 귀무가설이 참일 때 두 주효과와 한 상호작용을 검정할 경우, 최소한 하나의 I형 오류 확률이 명목상의 5%가 아닌 14%로 증가함을 보여주는 것.
• 공개된 심리학 연구에서 다중 비교 문제에 대한 보정이 거의 전무한 것을 기록하는 것.
• 다중_way ANOVA 설계에서 증가한 오류율을 통제하기 위한 네 가지 실용적 해결책을 제안하고 평가하는 것.
• 심리학 실험에서 사전 등록과 공식적인 오류율 통제를 통해 통계적 관행을 향상시키기 위한 주장

제안 방법

• 저자들은 통계적 검정력과 오류율 시뮬레이션을 사용하여, 이원 요인 ANOVA에서 세 개의 독립된 귀무가설(두 주효과와 한 상호작용)을 검정할 때의 가족별 오류율(FWER)을 모델링한다.
• 종합 F 검정은 전체 효과가 유의미하게 나타난 이후에야 개별 가설 검정을 수행하도록 방지하기 위해 제안된다.
• 가족별 오류율(FWER) 통제는 보너페리 보정과 같은 방법을 사용하여 다중 검정 간 전체 알파 수준을 유지한다.
• 위임 오류율(FDR) 통제는 FWER보다 덜 엄격한 대안으로, 많은 비교가 이루어지는 경우에 특히 유용하다.
• 사전에 가설을 등록하는 것이 탐색 분석에서 p-해킹과 I형 오류 위험을 줄이기 위한 방법론적 해결책으로 권장된다.
• 논문은 이론적 유도와 시뮬레이션을 사용하여 다양한 보정 전략과 일반적인 관행 하에서의 오류율을 비교한다.

실험 결과

연구 질문

• RQ1 다중_way ANOVA에서 여러 효과를 동시에 검정할 경우, 명목상 5% 수준을 초과해 I형 오류율이 얼마나 증가하는가?
• RQ2 왜 다중_way ANOVA에서의 다중 비교 문제는 심리학 연구에서 자주 간과되는가?
• RQ3 보너페리와 FDR과 같은 표준 보정 방법이 다중_way ANOVA에서 I형 오류율을 얼마나 효과적으로 통제하는가?
• RQ4 다중_way ANOVA 설계에서 가설을 사전에 등록하는 데서 얻는 실용적이고 방법론적 이점은 무엇인가?
• RQ5 다중_way ANOVA를 사용한 공개된 심리학 연구에서 다중성 보정이 부족한 정도는 얼마나 보편적인가?

주요 결과

• 이원 ANOVA에서 세 개의 귀무가설이 모두 참이면서 개별적으로 검정될 경우, 복수성으로 인해 최소한 하나의 I형 오류 발생 확률이 5%가 아니라 14%로 증가한다.
• 연구는 다중 비교 문제에 대한 보정을 거의 적용하지 않는 연구자들이 다수 존재함을 발견했으며, 이는 I형 오류율이 증가한다는 사실을 잘 알고 있음에도 불구하고 그렇다.
• 종합 F 검정은 전체 효과가 유의미하게 나타난 이후에야 개별 검정을 수행함으로써 I형 오류 위험을 줄인다.
• 보너페리 보정을 통한 가족별 오류율 통제는 전체 알파 수준을 효과적으로 유지하지만, 통계적 검정력이 감소할 수 있다.
• 위임 오류율 통제는 다중 비교가 예상되는 경우 FWER 통제보다 더 높은 검정력을 제공하는 더 유연한 대안이다.
• 가설 사전 등록은 데이터 드러내기 방지를 막고 재현 가능성을 향상시키는 강력한 비통계적 해결책으로 입증되었다.