[논문 리뷰] Type I error rate control for testing many hypotheses: a survey with proofs

Étienne Roquain|arXiv (Cornell University)|2010. 12. 18.

Statistical Methods in Clinical Trials참고 문헌 75인용 수 18

한 줄 요약

이 논문은 다중 가설 검정에서 유형 I 오류 비율을 제어하는 데 중점을 두어 k가족-wise 오류 비율(kFWER)과 위양성 발견 비율(FDP)에 대한 통합적 서베이와 새로운 이론적 결과를 제공한다. 독립성 하에서 FDP를 제어하는 새로운 퀀틸-이항 절차를 도입하며, 간결한 증명과 다양한 종속성 가정 하에서 단계 상향/하향 절차에 대한 일반적 프레임워크를 제공한다.

ABSTRACT

This paper presents a survey on some recent advances for the type I error rate control in multiple testing methodology. We consider the problem of controlling the $k$-family-wise error rate (kFWER, probability to make $k$ false discoveries or more) and the false discovery proportion (FDP, proportion of false discoveries among the discoveries). The FDP is controlled either via its expectation, which is the so-called false discovery rate (FDR), or via its upper-tail distribution function. We aim at deriving general and unified results together with concise and simple mathematical proofs. Furthermore, while this paper is mainly meant to be a survey paper, some new contributions for controlling the kFWER and the upper-tail distribution function of the FDP are provided. In particular, we derive a new procedure based on the quantiles of the binomial distribution that controls the FDP under independence.

연구 동기 및 목표

• 다중 검정에서의 유형 I 오류 비율 제어 분야에서 최근의 발전을 종합적이고 통합적으로 검토하는 것.
• 주요 다중 검정 절차에 대한 일반적이고 단순한 수학적 증명을 도출하여 이론적 명확성과 접근성 향상.
• 고차원 검정 설정에서 양의 종속성과 임의의 종속성 구조 하에서 오류 비율을 제어하는 데 도전하는 것.
• 독립성 하에서 위양성 발견 비율(FDP)을 제어하는 데 기반한 새로운 절차를 도입하여 기존 방법론의 격차를 메우는 것.
• FDR 제어와 FDP 제어의 차이를 명확히 하여, 실용적 응용에서 FDP의 꼬리 분포 제어의 중요성을 강조하는 것.

제안 방법

• p-값 기반의 일반적 프레임워크를 사용하여 다중 검정 절차를 다루며, 오류 비율 제어를 위한 단계 상향 및 단계 하향 알고리즘에 중점을 둔다.
• 귀무가설 하에서 검정 통계량의 행동을 분석하고 오류 비율 성질을 도출하기 위해 딜라크 구성(configuration) 개념을 적용한다.
• 이항 분포에서 유도된 퀀틸 기반 임계값을 사용하여 독립성 하에서 FDP의 상측 꼬리 분포를 제어하는 새로운 절차를 구축한다.
• 선형 단계 상향 및 적응형 선형 단계 상향 절차가 다양한 종속성 가정 하에서 FDR과 kFWER를 제어할 수 있는 조건을 도출한다.
• 역분포 함수와 생존함수와 같은 수학적 도구를 사용하여 검정 절차의 수준과 검정력 특성을 기술한다.
• 주요 결과에 대한 엄밀한 증명을 제공하며, 이는 기존 방법(예: LR2005의 정리 3.1 및 RW2007의 정리 4.1(i))과의 등가성을 보여주는 보조정리로 제시된다.

실험 결과

연구 질문

• RQ1 독립성 하에서 새로운 분포 기반 절차를 사용하여 위양성 발견 비율(FDP)을 어떻게 제어할 수 있는가?
• RQ2 양의 종속성 또는 임의의 종속성 하에서 단계 하향 및 단계 상향 절차가 kFWER와 FDR을 제어할 수 있는 이론적 조건는 무엇인가?
• RQ3 제안된 퀀틸-이항 절차는 기존의 FDP 제어 방법과 비교해 오류 비율 제어 및 검정력 측면에서 어떻게 다른가?
• RQ4 연속적 귀무분포와 이산적 귀무분포 하에서 p-값과 검정 통계량의 수준 성질은 어떻게 다를까?
• RQ5 FDR 제어와 FDP의 상측 꼬리 분포 제어 사이의 관계는 무엇이며, 왜 일부 설정에서는 후자가 더 적절한가?

주요 결과

• 제안된 퀀틸-이항 절차는 이항 분포의 퀀틸에서 유도된 임계값을 사용하여 독립성 하에서 위양성 발견 비율(FDP)을 제어한다.
• 논문은 연속적 귀무분포 하에서는 표준 p-값 기반 검정이 수준 α를 갖는다는 것을 입증하며, 이산 분포 하에서는 p-값 기반 검정이 α를 초과할 수 있으므로 수정된 접근이 필요하다고 밝힌다.
• 양의 종속성 하에서 kFWER 제어를 위한 단계 하향 방법이 효과적임을 입증하였으며, 가설 수에 따라 선형적으로 복잡도가 증가한다.
• 이론적 결과는 FDR이 제어되지 않더라도 FDP의 상측 꼬리 분포는 단계 하향 절차를 통해 제어될 수 있음을 보여주며, FDR과 FDP 제어 사이의 핵심적 차이를 부각시킨다.
• 논문은 테스트 통계량이 양의 종속성을 보일 경우 선형 단계 상향 절차가 임의의 종속성 하에서도 FDR을 제어함을 증명하며, 이는 이전 결과를 확장한 것이다.
• 이론적 분석을 통해 적응형 선형 단계 상향 절차가 양의 종속성 하에서도 FDR 제어를 유지함을 확인하였으며, 이는 고차원 데이터 분석에 실용적이고 강력한 방법을 제공한다.