[논문 리뷰] Optimal Procedures for Multiple Testing Problems

Saharon Rosset, Ruth Heller외 2명|arXiv (Cornell University)|2018. 04. 26.

Statistical Methods in Clinical Trials참고 문헌 21인용 수 6

한 줄 요약

이 논문은 가족별 오류율(FWER) 또는 잘못된 발견 비율(FDR)을 통제하면서 통계적 검정력(통계적 검정 능력)을 극대화하기 위해 다중 검정 문제를 무한차원 최적화 문제로 공식화한다. 동치성 있는 대립가설에 대해 이러한 문제들은 무한선형계획법으로 해결 가능하며, 이는 세 개의 독립적인 정규분포 평균에 대해 상당한 검정력 향상을 이끌어내는 명시적인 최적 절차를 도출한다.

ABSTRACT

Multiple testing problems are a staple of modern statistical analysis. The fundamental objective of multiple testing procedures is to reject as many false null hypotheses as possible (that is, maximize some notion of power), subject to controlling an overall measure of false discovery, like family-wise error rate (FWER) or false discovery rate (FDR). In this paper we formulate multiple testing of simple hypotheses as an infinite-dimensional optimization problem, seeking the most powerful rejection policy which guarantees strong control of the selected measure. In that sense, our approach is a generalization of the optimal Neyman-Pearson test for a single hypothesis. We show that for exchangeable hypotheses, for both FWER and FDR and relevant notions of power, these problems can be formulated as infinite linear programs and can in principle be solved for any number of hypotheses. We apply our results to derive explicit optimal tests for FWER or FDR control for three independent normal means. We find that the power gain over natural competitors is substantial in all settings examined. We also characterize maximin rules for complex alternatives, and demonstrate that such rules can be found in practice, leading to improved practical procedures compared to existing alternatives.

연구 동기 및 목표

• 통계적 검정력과 오류율을 통제하면서 최적의 다중 검정 절차를 개발하기 위한 일반적 프레임워크를 수립하는 것.
• 무한차원 최적화 문제로 공식화함으로써 네이만-피어슨 보조정리를 다중 대립가설으로 확장하는 것.
• 동치성 있는 가설이 있는 설정에서 FWER 및 FDR 통제 하에 최적의 기각 규칙을 도출하는 것.
• FWER 및 FDR 제약 조건 하에서 세 개의 독립적인 정규분포 평균에 대한 명시적인 최적 검정을 도출하는 것.
• 복잡한 대안에 대한 최대최소 규칙을 특성화하고 실용적인 다중 검정 절차를 향상시키는 것.

제안 방법

• 단순 대립가설의 다중 검정 문제를 오류율 제약 조건 하에서 검정력을 극대화하기 위해 무한차원 최적화 문제로 공식화하는 것.
• FWER 및 FDR 통제 하에서 동치성 있는 가설에 대해 최적화 문제를 무한선형계획법으로 표현하는 것.
• 이중성 및 함수해석학적 기법을 사용하여 최적의 기각 정책을 특성화하는 것.
• FWER 및 FDR 하에서 세 개의 독립적인 정규분포 평균에 대한 명시적인 최적 절차를 도출하기 위해 프레임워크를 적용하는 것.
• 해당 최적화 문제를 해결함으로써 복잡한 대안 하의 최대최소 규칙을 특성화하는 것.
• 결과적으로 도출된 절차들이 실질적으로 계산 가능하며, 이는 향상된 실세계 검정 절차를 가능하게 한다는 것을 보여주는 것.

실험 결과

연구 질문

• RQ1 가족별 오류율(FWER)을 통제하면서 검정력을 극대화하는 다중 검정 문제에 대한 최적의 기각 정책은 무엇인가?
• RQ2 동치성 있는 가설에 대해 잘못된 발견 비율(FDR) 통제 하에서 최적의 다중 검정 절차는 어떻게 유도할 수 있는가?
• RQ3 FWER 및 FDR 제약 조건 하에서 세 개의 독립적인 정규분포 평균에 대한 최적 검정의 명시적 형태는 무엇인가?
• RQ4 유한 표본 설정에서 제안된 최적 절차의 검정력 향상 정도는 기존의 표준 대안과 비교해 어떻게 되는가?
• RQ5 복잡한 대안에 대해 최대최소 규칙을 효과적으로 유도하고 구현할 수 있는가?

주요 결과

• 동치성 조건 하에서 최적의 다중 검정 문제는 무한선형계획법으로 공식화될 수 있으며, 이는 이론적 및 계산적 해결을 가능하게 한다.
• 세 개의 독립적인 정규분포 평균에 대해 제안된 최적 절차는 FWER 및 FDR 통제 하에서 자연스러운 경쟁 절차에 비해 상당한 검정력 향상을 달성한다.
• 이 프레임워크는 무한차원 최적화 설정에 통합함으로써 네이만-피어슨 보조정리를 다중 대립가설으로 일반화한다.
• 복잡한 대안에 대한 최대최소 규칙은 실질적으로 도출되고 구현 가능하며, 이는 향상된 강건한 검정 절차를 이끈다.
• 결과적으로 강력한 오류율 통제를 갖는 광범위한 다중 검정 문제 클래스에 대해 최적 절차가 존재하고 계산 가능하다는 것이 입증된다.