[논문 리뷰] Online multiple hypothesis testing

D. S. Robertson, James Wason외 1명|arXiv (Cornell University)|2022. 08. 24.

Statistical Methods in Clinical Trials인용 수 1

한 줄 요약

이 논문은 순차적이고 대규모 환경에서 가설이 시간이 지남에 따라 하나씩 도착하는 상황에서 가짜 발견률(FDR)을 제어하는 온라인 다중 가설 검정 방법에 대한 종합적인 리뷰를 제시한다. p-값과 이전의 기각 결정을 기반으로 오류 예산을 동적으로 할당하는 적응형 알고리즘인 LORD++, SAFFRON, ADDIS를 도입하여 기존의 오프라인 방법에 비해 통계적 검정력이 향상된 강력한 FDR 제어를 달성한다. 특히 A/B 테스트 및 유전체학 분야에서 뛰어난 성능을 보인다.

ABSTRACT

Modern data analysis frequently involves large-scale hypothesis testing, which naturally gives rise to the problem of maintaining control of a suitable type I error rate, such as the false discovery rate (FDR). In many biomedical and technological applications, an additional complexity is that hypotheses are tested in an online manner, one-by-one over time. However, traditional procedures that control the FDR, such as the Benjamini-Hochberg procedure, assume that all p-values are available to be tested at a single time point. To address these challenges, a new field of methodology has developed over the past 15 years showing how to control error rates for online multiple hypothesis testing. In this framework, hypotheses arrive in a stream, and at each time point the analyst decides whether to reject the current hypothesis based both on the evidence against it, and on the previous rejection decisions. In this paper, we present a comprehensive exposition of the literature on online error rate control, with a review of key theory as well as a focus on applied examples. We also provide simulation results comparing different online testing algorithms and an up-to-date overview of the many methodological extensions that have been proposed.

연구 동기 및 목표

• 현대의 데이터 기반 환경에서 순차적으로 가설이 검정되는 상황에서 전통적인 오프라인 다중 검정 절차의 한계를 해결하기 위해.
• 스트리밍 데이터 조건에서 유형 I 오류 비율을 유지하는 온라인 FDR 제어의 통합 프레임워크를 제공하기 위해.
• 최근의 온라인 검정 알고리즘의 성능을 FDR 제어, 통계적 검정력, 상관관계에 대한 탄력성 측면에서 평가하고 비교하기 위해.
• 실제 응용 분야인 A/B 테스트, 유전체학 및 임상 플랫폼 시험에서의 활용 가능성을 강조하고, 소프트웨어 및 구현 가이드를 통해 보급을 촉진하기 위해.

제안 방법

• 기존 기각 결과와 p-값에 기반해 오류 예산을 업데이트하는 동적 알파-웨딩 할당을 통한 온라인 FDR 제어를 제안한다.
• LORD 알고리즘의 확장판인 LORD++를 도입하여 단조성 할당 규칙을 사용해 검정력을 향상시키면서도 FDR 제어를 유지한다.
• SAFFRON 및 ADDIS 알고리즘을 활용하여 임계값 λ 및 η를 사용해 적응적으로 유의수준을 설정하며, 영가설과 비영가설 신호를 별도로 처리한다.
• 모든 시간에 유효한 p-값을 사용해 고정된 표본 크기나 총 검정 수의 사전 지식 없이도 순차적 검정을 가능하게 한다.
• 누적 기각 수와 p-값 순위에 따라 의존성에 관계없이 FDR 제어를 보장하는 테스트 수준 공식을 적용한다.
• 다양한 비율의 비영가설과 의존성 구조를 가진 시뮬레이션을 통해 방법의 유효성을 광범위하게 검증한다.

실험 결과

연구 질문

• RQ1 가설이 순차적으로 도착하고 총 개수가 알려져 있지 않은 온라인 다중 검정에서 FDR는 어떻게 제어할 수 있는가?
• RQ2 온라인 검정 프레임워크와 오프라인 검정 프레임워크 간의 통계적 검정력과 FDR 제어 사이의 상충 관계는 어떠한가?
• RQ3 p-값 간의 의존성이 존재할 경우, LORD++, SAFFRON, ADDIS와 같은 온라인 방법은 독립적인 설정과 비교해 어떻게 성능을 발휘하는가?
• RQ4 온라인 방법은 대규모 검정에서 Benjamini-Hochberg 절차와 비교해 유사하거나 이를 초월하는 검정력을 달성할 수 있는가?
• RQ5 A/B 테스트 및 플랫폼 시험과 같은 실제 응용 분야에 온라인 검정을 구현할 때 발생하는 실질적 과제는 무엇인가?

주요 결과

• LORD++, SAFFRON, ADDIS는 모든 시뮬레이션 설정에서 p-값 간 의존성 존재 여부에 관계없이 명목 수준 α = 0.05에서 FDR 제어를 유지한다.
• 제안된 온라인 방법들은 비영가설 비율(π1)이 높을수록 대규모 검정 시나리오에서 Benjamini-Hochberg 절차보다 더 높은 통계적 검정력을 확보한다.
• 시뮬레이션 결과에 따르면, 보정되지 않은 검정은 α = 0.05를 크게 초과하는 FDR 값을 유도하지만, 모든 온라인 방법은 수용 가능한 범위 내에서 유지된다.
• ADDIS와 SAFFRON는 과거 기각 정보와 p-값 임계값(η 및 λ)을 통합함으로써 의존성에 대한 강건성을 보였다.
• 단조성 AI 알고리즘은 특히 희박한 신호가 존재하는 환경에서 검정력이 뛰어나면서도 FDR 제어를 유지하는 데 뛰어난 성능을 보였다.
• 온라인FDR R 패키지는 이들 방법의 재현 가능한 구현을 가능하게 하여 유전체학, A/B 테스트 및 임상 시험 분야에서의 광범위한 보급을 지원한다.