[논문 리뷰] Sequential Multiple Testing

Shiyun Chen, Ery Arias-Castro|arXiv (Cornell University)|2017. 05. 25.

Statistical Methods in Clinical Trials참고 문헌 22인용 수 3

한 줄 요약

이 논문은 가설이 순차적으로 도착하는 온라인 환경에서 FDR(거짓 발견률)를 제어하는 순차적 다중 검정 절차인 LORD와 LOND를 연구한다. 이는 희박한 혼합 일반화된 가우시안 모형에서 LORD가 점근적으로 최적임을 입증하며, 첫 번째 순서 점근적으로는 고전적인 Benjamini-Hochberg 절차와 유사한 검정력( statistical power)을 달성한다. 또한 LOND는 점근적으로 거짓 미발견률(FNR)을 제어함을 보여준다.

ABSTRACT

We study an online multiple testing problem where the hypotheses arrive sequentially in a stream. The test statistics are independent and assumed to have the same distribution under their respective null hypotheses. We investigate two procedures LORD and LOND, proposed by (Javanmard and Montanari, 2015), which are proved to control the FDR in an online manner. In some (static) model, we show that LORD is optimal in some asymptotic sense, in particular as powerful as the (static) Benjamini-Hochberg procedure to first asymptotic order. We also quantify the performance of LOND. Some numerical experiments complement our theory.

연구 동기 및 목표

• 순차적 가설 검정 프레임워크에서 온라인 다중 검정 절차의 점근적 최적성에 대해 연구한다.
• Javanmard와 Montanari(2015)가 제안한 LORD와 LOND의 성능을 순차적 데이터 도착 조건 하에서 거짓 발견률(FDR) 제어 측면에서 평가한다.
• LORD가 점근적 한계에서 고전적인 Benjamini-Hochberg 절차와 유사한 검정력을 달성함을 입증한다.
• 희박한 혼합 일반화된 가우시안 모형에서 LOND의 거짓 미발견률(FNR) 성능을 정량화한다.
• 양쪽 절차의 점근적 행동에 대한 이론적 보장을 제공하고 수치적 검증을 수행한다.

제안 방법

• 실시간 순차적 검정에서 FDR를 제어하도록 설계된 온라인 다중 검정 절차인 LORD와 LOND의 사용을 제안한다.
• 신호 강도가 일반화된 가우시안 분포를 따르는 희박한 혼합 점근 모형 하에서 절차를 분석한다.
• 모멘트 생성 함수와 극값 이론을 사용하여 기대 발견 수와 기대 거짓 발견 수의 점근적 경계를 유도한다.
• 커플링 추론과 마틴게일 기법을 적용하여 기대 정지 시간과 발견 과정의 경계를 설정한다.
• 검정 통계량의 생존함수와 역정규분포함수를 사용하여 꼬리 확률을 모델링하고 점근적 FNR 경계를 도출한다.
• 이전 발견 수에 따라 변화하는 동적 알파 수준에 기반한 임계값 규칙을 활용하여 FDR 제어를 보장한다.

실험 결과

연구 질문

• RQ1 LORD는 온라인 FDR 제어 절차 중에서 통계적 검정력 측면에서 점근적으로 최적인가?
• RQ2 가설 수가 증가함에 따라 LOND의 거짓 미발견률(FNR)은 어떻게 변화하는가?
• RQ3 LORD의 검정력과 고전적인 Benjamini-Hochberg 절차 사이의 점근적 관계는 무엇인가?
• RQ4 LOND가 희박한 혼합 모형에서 FNR이 0으로 수렴하는 조건은 무엇인가?
• RQ5 LORD와 LOND의 동적 알파 수준은 FDR와 FNR 제어 간의 상호 보완적 관계에 어떻게 영향을 미치는가?

주요 결과

• LORD는 정적 Benjamini-Hochberg 절차와 첫 번째 순서 점근적 항까지 동일한 검정력을 가지며 점근적으로 최적임을 입증한다.
• LORD 하에서 기대 발견 수는 $ n^{eta + ( u^{1/rac{1}{ u}} - r^{1/ u})^{ u} + o(1)} $로 증가하며, 지수는 신호 강도와 희박성의 영향을 반영한다.
• LOND는 점근적으로 거짓 미발견률(FNR)을 제어하며, 조건 $ r > \beta + (\nu^{1/\gamma} - r^{1/\gamma})^\gamma + \eta $ 하에서 $ \textsc{fnr}_n \to 0 $ 로 수렴한다.
• LOND의 FNR은 $ 2\delta + \bar{F}(\lambda_n \zeta_n) + o(1) $ 으로 경계되며, $ \lambda_n \zeta_n \to 0 $ 이므로 꼬리 확률 $ \bar{F}(\lambda_n \zeta_n) \to 0 $ 으로 수렴하여 FNR이 0으로 수렴함을 보장한다.
• 분석 결과 $ \operatorname{\mathbb{E}}[\tau_l \wedge n] \leq l \cdot n^{\beta + (\nu^{1/\gamma} - r^{1/\gamma})^\gamma + o(1)} $ 를 도출하여 기대 발견 수에 대한 경계를 제공한다.
• 수치 실험은 이론적 결과를 보완하며, 다양한 신호 희박성 수준에서 두 절차의 점근적 행동과 강건성을 확인한다.