[논문 리뷰] Why we (usually) don't have to worry about multiple comparisons

Andrew Gelman, Jennifer Hill외 1명|ArXiv.org|2009. 07. 15.

Statistical Methods in Clinical Trials참고 문헌 25인용 수 15

한 줄 요약

이 논문은 계층 베이지안 다수수준 모형을 사용할 경우, 다중 비교 보정이 일반적으로 불필요하다고 주장한다. 이러한 모형은 부분 풀링을 통해 자연스럽게 다중성 문제를 다루기 때문이다. 다수수준 모형은 추정치를 공통 평균 쪽으로 수축시켜 유형 S 및 유형 M 오류를 줄이고, 유형 I 오류율을 상승시키거나 통계적 검정력 손실 없이 더 신뢰할 수 있고 효율적인 추정치를 제공한다.

ABSTRACT

Applied researchers often find themselves making statistical inferences in settings that would seem to require multiple comparisons adjustments. We challenge the Type I error paradigm that underlies these corrections. Moreover we posit that the problem of multiple comparisons can disappear entirely when viewed from a hierarchical Bayesian perspective. We propose building multilevel models in the settings where multiple comparisons arise. Multilevel models perform partial pooling (shifting estimates toward each other), whereas classical procedures typically keep the centers of intervals stationary, adjusting for multiple comparisons by making the intervals wider (or, equivalently, adjusting the $p$-values corresponding to intervals of fixed width). Thus, multilevel models address the multiple comparisons problem and also yield more efficient estimates, especially in settings with low group-level variation, which is where multiple comparisons are a particular concern.

연구 동기 및 목표

• 응용 연구에서 전통적인 다중 비교 보정(예: 보너페리)에 대한 관례적 의존을 도전하기 위해.
• 다중 비교 문제는 p-값 조정이 아니라 모델 개선을 통해 더 잘 해결될 수 있다며 주장하기 위해.
• 다른 그룹들 사이에서 정보를 공유함으로써 추정 오차를 줄이고 추론을 향상시키기 위해 다수수준 모형이 어떻게 기여하는지 보여주기 위해.
• 다수 비교가 많은 상황에서 고전적 보정 대비 더 통합적이고 효율적인 대안으로 계층 베이지안 모형을 주장하기 위해.
• 특히 그룹 수준 분산이 낮을 때, 다수수준 모형이 정밀도와 강인성 측면에서 고전적 방법보다 뛰어나다는 것을 보여주기 위해.

제안 방법

• 다양한 매개변수를 동시에 추정하기 위해 다수수준(계층적) 베이지안 모형을 적합시키며, 그룹 간 부분 풀링을 통합한다.
• 개별 추정치를 총 평균 쪽으로 수축시켜 극단적인 추정치를 줄이고 신뢰성을 향상시킨다.
• 그룹 수준 매개변수를 공통 하이퍼분포에서 추출하도록 계층적 구조로 데이터를 모델링하여 정보 공유를 가능하게 한다.
• 고전적 p-값 보정 대신 불확실성을 원칙적으로 반영하는 일관된 확률적 프레임워크를 도입한다.
• 실제 데이터를 사용하여 다수수준 모형 결과를 보너페리 보정과 같은 고전적 방법과 비교한다. 데이터 출처: 유아 건강 및 발달 프로그램(IHDP).
• 다중 결과, 하위군 등 복잡한 구조를 고려하기 위해 다수수준 모형을 확장하여 상호작용 항과 중첩 또는 교차 요인에 대한 랜덤 효과를 포함한다.

실험 결과

연구 질문

• RQ1 사회과학 및 프로그램 평가 환경에서 고전적 다중 비교 보정이 왜 문제를 일으키는가?
• RQ2 계층 베이지안 모형이 p-값 조정보다 다중 비교 문제를 더 효과적으로 해결하는 방식은 무엇인가?
• RQ3 다수수준 모형은 고전적 추론에 비해 추정 효율성을 어떻게 향상시키고, 유형 S 및 유형 M 오류를 어떻게 줄이는가?
• RQ4 다중 결과 및 하위군을 포함한 복잡한 고차원 비교 문제에 대해 다수수준 모형을 실용적으로 적용할 수 있는가?
• RQ5 정밀도, 검정력, 해석 가능성 측면에서 다수수준 모형은 고전적 보정에 비해 어떤 상대적 이점이 있는가?

주요 결과

• 다수수준 모형은 극단적인 추정치를 총 평균 쪽으로 수축시어 유형 S 및 유형 M 오류 위험을 줄여 더 신뢰할 수 있는 추론을 가능하게 한다.
• 그룹 수준 분산이 낮을 경우, 부분 풀링 덕분에 다수수준 모형은 고전적 방법보다 더 정밀한 추정치를 생성한다.
• 보너페리 보정과 비교해 볼 때, 다수수준 모형은 64개의 비교를 고려한 다중 결과 분석에서도 더 좁고 정확한 신뢰구간을 제공한다.
• 다수수준 접근법은 다중성을 모형 구조에 자연스럽게 통합하여 사후 보정의 필요성을 제거한다.
• 복잡한 그룹 구조(예: 2×3×4×5)가 있는 상황에서는 다수수준 모형을 실제 데이터 계층에 맞게 확장할 수 있어, 모든 비교를 상호교환 가능하다고 보는 오류를 피할 수 있다.
• 다수수준 모형의 이점은 다중성에 국한되지 않으며, 그룹 내 상관관계와 오차 구조를 올바르게 모형화함으로써 추정을 향상시킨다.