[논문 리뷰] Annotated Bibliography of Some Papers on Combining Significances or p-values

R. Cousins|ArXiv.org|2007. 05. 15.

Statistical Methods in Clinical Trials참고 문헌 38인용 수 39

한 줄 요약

이 참고문헌 목록은 고에너지 물리학과 유전학 등에서 주로 사용되는, 다수의 독립된 실험에서의 p-값 또는 유의수준을 통합하는 데 핵심적인 통계적 방법들을 종합하고 평가한다. 피셔의 방법, 스투퍼의 z-점수 접근법, 가중치를 적용한 조합(예: 굿, 리프타크), 그리고 절단 기반 변형을 검토하며, 방법 선택은 효과 크기, 표본 크기, 대립가설에 대한 가정에 따라 달라지며, 정밀도의 차이가 알려져 있을 경우 가중치를 적용한 방법이 일반적으로 검정력 향상에 기여함을 강조한다.

ABSTRACT

A question that comes up repeatedly is how to combine the results of two experiments if all that is known is that one experiment had a n-sigma effect and another experiment had a m-sigma effect. This question is not well-posed: depending on what additional assumptions are made, the preferred answer is different. The note lists some of the more prominent papers on the topic, with some brief comments and excerpts.

연구 동기 및 목표

• 완전한 데이터 없이도 독립된 실험들로부터의 p-값 또는 유의수준을 통합하는 데 있어 문제의 정의가 불완전한 성격을 지닌다는 점을 다루기 위해.
• 최적의 방법이 상대적 정밀도, 표본 크기, 대립가설과 같은 추가적인 가정에 따라 달라진다는 점을 명확히 하기 위해.
• 특히 고에너지물리학과 유전학과 같은 분야에서 p-값을 통합하기 위한 주요 통계적 방법들을 종합하고 철저히 평가하기 위해.
• p-값이 증거의 척도로서의 한계를 강조하고, 가능할 경우 주어진 원자료를 사용하는 것이 중요하다는 점을 환기시키기 위해.
• 연구자들이 맥락과 가정에 따라 적절한 통합 방법을 선택할 수 있도록 참고 가이드를 제공하기 위해.

제안 방법

• 귀무가설 하에서 검정 통계량을 균일 분포의 p-값으로 변환하기 위해 확률적 적분 변환을 사용한다.
• 피셔의 방법을 검토하며, p-값을 곱하고 -2ln(p)의 합을 자유도 2k인 카이제곱분포로 변환함으로써 통합한다.
• 스투퍼의 z-점수 방법을 적용하며, p-값을 표준정규분포의 분위수로 변환하고 가중합을 구한 후 다시 p-값으로 변환한다.
• 알려진 분산 또는 표본 크기를 반영한 가중치를 적용한 조합 방법(예: 굿, 1955; 리프타크, 1958)을 도입하여 검정력을 향상시킨다.
• 매우 큰 p-값을 제거함으로써 강한 신호에 대한 민감도를 높이는 절단 기반 방법(예: 자이킨 등, 2002)을 고려한다.
• 시뮬레이션과 이론적 분석을 통해 다양한 대립가설과 표본 크기 조건에서 각 방법의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 p-값과 표본 크기만 알려진 상태에서 두 개 이상의 p-값을 어떻게 통합할 수 있는가?
• RQ2 피셔의 방법, 스투퍼의 방법, 가중치를 적용한 방법, 절단 기반 방법 등 다양한 통합 방법들이 통계적 검정력과 제1종 오류 통제 측면에서 어떻게 비교되는가?
• RQ3 효과 크기나 표본 크기의 차이가 크지 않을 경우, 가중치를 적용한 방법이 비가중치 방법보다 우월한 조건은 무엇인가?
• RQ4 어떤 방법(예: 피셔의 방법)은 동일한 가중치를 가정하는가? 이러한 가정은 언제 타당하지 않은가?
• RQ5 이산적 또는 통계량이 적은 데이터(예: 고에너지물리학에서의 포isson 분포 이벤트)는 표준 통합 방법의 타당성과 성능에 어떤 영향을 미치는가?

주요 결과

• 피셔의 방법은 일정한 정규성 조건 하에서 최대우도비검정과 동일하며, 비정보성 사전을 가진 베이즈 검정의 특수한 경우이다.
• 개별 p-값이 유사할 경우 스투퍼의 방법은 피셔의 방법보다 더 유의미한 통합 p-값을 도출하지만, p-값의 변동성이 클 경우 피셔의 방법이 더 높은 검정력을 보일 수 있다.
• 굿(1955)과 리프타크(1958)의 가중치를 적용한 방법은 실험의 정밀도나 표본 크기가 다를 경우 검정력을 향상시키며, 분산 비율이 알려져 있을 경우 최적의 성능을 발휘한다.
• 절단 기반 방법(예: 자이킨 등, 2002)은 일부 p-값이 매우 클 경우 표준 피셔의 방법보다 뛰어난 성능을 보이며, 강한 신호의 약화를 방지한다.
• 선택된 방법은 맥락에 따라 크게 달라지며, 표본 크기나 분산이 크게 다를 경우 동일한 가중치를 가정하는 방법은 최적의 성능을 내지 못한다.
• 스투퍼의 방법은 처음으로 사회학 연구의 각주에서 제안된 바 있어 역사적으로 애매한 기원을 지녔지만, 메타분석의 핵심 요소로 자리 잡았다.