[논문 리뷰] A Practitioner's Guide to Multiple Testing Error Rates

Jonathan D. Rosenblatt|arXiv (Cornell University)|2013. 04. 17.

Statistical Methods in Clinical Trials참고 문헌 26인용 수 4

한 줄 요약

이 논문은 다중 가설 검정에서 적절한 오류 비율을 선택하는 데 도움이 되는 실용적 가이드를 제공한다. Familywise Error Rate (FWER), False Discovery Rate (FDR), 그리고 관련 측정법을 비교하며, 연구 맥락에 따라 이러한 오류 비율을 어떻게 선택할 수 있는지 실질적인 사례를 바탕으로 설명한다. 유전학, 의료 영상, 심리학, 교육 정책 분야의 실제 사례를 통해 FWER보다 FDR 제어가 대규모 검정 상황에서 더 강력하고 적절할 수 있음을 강조한다.

ABSTRACT

It is quite common in modern research, for a researcher to test many hypotheses. The statistical (frequentist) hypothesis testing framework, does not scale with the number of hypotheses in the sense that naively performing many hypothesis tests will probably yield many false findings. Indeed, statistical "significance" is evidence for the presence of a signal within the noise expected in a single test, not in a multitude. In order to protect himself from an uncontrolled number of erroneous findings, a researcher has to consider of the type or errors he wishes to avoid and select the adequate procedure for that particular error type and data structure. A quick search of the tag [multiple-comparisons] in the statistics Questions & Answers web site Cross Validates (http://stats.stackexchange.com) demonstrates the amount of confusion this task can actually cause. This was also a point made at the 2009 Multiple Comparisons conference in Tokyo. In an attempt to offer guidance, we review possible error types for multiple testing, and demonstrate them with some practical examples, which clarify the formalism. Finally, we include some notes on the software implementations of the methods discussed. The emphasis of this manuscript is on the error-rates, and not on the procedures themselves. We do try to name several procedures in this manuscript where appropriate. P-value adjustment will not be discussed as it is procedure specific. I.e., it is the choice of a procedure that defines the p-value adjustment, and not the error rate itself. Simultaneous confidence intervals will, also, not be discussed.

연구 동기 및 목표

• 다중 가설 검정에서 흔히 사용되는 오류 비율인 FWER와 FDR 간의 차이를 명확히 하기.
• 연구자의 과학적 목표와 데이터 맥락에 따라 가장 적절한 오류 비율을 선택하는 데 도움을 주기.
• 유전학, 의료 영상, 심리학, 교육 정책 분야의 실제 사례를 통해 오류 비율 선택의 실질적 영향을 보여주기.
• 대규모 검정 상황에서 FDR 제어가 FWER 제어보다 더 강력하고 적합할 수 있음을 강조하기 — 특히 복제와 발견이 우선시될 경우.
• Benjamini-Hochberg 절차를 FDR 자체와 동일시하는 등의 일반적인 오해를 다루고, 국소 fdr과 사후 확률이 의사결정에 어떻게 기여하는지 명확히 하기.

제안 방법

• 핵심 오류 비율을 검토하고 정의한다: Familywise Error Rate (FWER), False Discovery Rate (FDR), 그리고 약한 및 강한 제어 버전.
• 국소 가짜 발견률(local false discovery rate, local fdr)의 개념을 도입한다. 이는 특정 가설이 귀무가설임을 조건부로 한 통계량에 기반한 사후 확률로, 의사결정 기준으로 사용된다.
• FDR이 모든 발견 중에서 가짜 발견의 기대 비율임을 설명한다: E[V/R]이며, R=0일 경우 FDP=0으로 간주된다.
• 실용적 기준으로 국소 fdr ≤ 0.2를 사용하는 것이 특정 조건 하에서 약 0.1 수준의 마진별 FDR 제어를 근사함을 제안한다.
• FDR ≤ α 하에서 FNR을 최소화하거나, mFDR ≤ α 하에서 mFNR을 최소화하는 최적화 프레임워크를 논의하여 통계적 검정력 향상 가능성을 제시한다.
• 국소 fdr 기반 절차는 비귀무효과의 분포에서 귀무확률을 추정하는 데 의존하며, 비귀무효과가 군집되어 있음을 전제로 한다.

실험 결과

연구 질문

• RQ1 FWER와 FDR 간의 핵심 차이점은 무엇이며, 다중 검정 상황에서 각각 언제 사용되어야 하는가?
• RQ2 연구자가 과학적 목표(예: 거짓 양성 최소화 vs. 진짜 발견 최대화)에 따라 적절한 오류 비율을 어떻게 선택할 수 있는가?
• RQ3 국소 fdr은 대규모 가설 검정에서 검정력과 해석 가능성 향상에 어떤 역할을 하는가?
• RQ4 Benjamini-Hochberg 절차와 FDR 간의 관계는 무엇이며, 왜 이 둘을 동일시하는 것은 잘못된가?
• RQ5 유전자 연관 연구와 같은 실질적 응용에서 α = 0.05와 α = 0.1 등의 다른 오류 비율 임계값을 사용할 경우의 영향은 무엇인가?

주요 결과

• FWER 제어는 한 개의 가짜 발견이라도 수용 불가능한 경우, 예를 들어 약물 등재 시험과 같이 매우 엄격한 상황에서 더 보수적이며 적절하다.
• FDR 제어는 유전체 분석과 같이 작은 비율의 가짜 발견이 허용 가능한 대규모 검정 상황에서 더 강력하고 적합하다.
• 국소 fdr 임계값 0.2를 사용하는 것은 약 0.1 수준의 마진별 FDR 제어를 근사하며, 실용적이고 해석 가능한 의사결정 기준이 된다.
• Benjamini-Hochberg 절차는 FDR 제어를 위한 한 방법이지만, FDR 자체와 동일시하는 것은 일반적인 오해이며 잘못된 인식이다.
• 효과 크기가 알려진 상황(예: 예상 z-값이 약 7일 경우)에서 사전 지식을 忽시하면 검정력이 낮아지고 최적의 기각 기준이 도출되지 않는다.
• 국소 fdr 기반 절차는 비귀무효과가 군집되어 있을 경우, 검정 통계량의 경험적 분포를 활용하여 검정력을 향상시킬 수 있다.