[논문 리뷰] False discovery rate control with e-values

Ruodu Wang, Aaditya Ramdas|arXiv (Cornell University)|2020. 09. 06.

Statistical Methods in Clinical Trials참고 문헌 33인용 수 5

한 줄 요약

이 논문은 e-values를 사용하여 FDR 제어를 수행하는 새로운 방법인 e-BH 절차를 제안한다. 이 절차는 보정 없이도 임의의 종속성 구조에서도 FDR 제어를 유지한다. 표준 Benjamini-Hochberg 절차와 달리, e-values 간의 어떤 종속성에서도 유효하며, 복잡한 종속성, 구조화된 영향력, 선택 후 추론 설정에서 더 높은 검정력(power)을 제공한다.

ABSTRACT

E-values have gained attention as potential alternatives to p-values as measures of uncertainty, significance and evidence. In brief, e-values are realized by random variables with expectation at most one under the null; examples include betting scores, (point null) Bayes factors, likelihood ratios and stopped supermartingales. We design a natural analog of the Benjamini-Hochberg (BH) procedure for false discovery rate (FDR) control that utilizes e-values, called the e-BH procedure, and compare it with the standard procedure for p-values. One of our central results is that, unlike the usual BH procedure, the e-BH procedure controls the FDR at the desired level -- with no correction -- for any dependence structure between the e-values. We illustrate that the new procedure is convenient in various settings of complicated dependence, structured and post-selection hypotheses, and multi-armed bandit problems. Moreover, the BH procedure is a special case of the e-BH procedure through calibration between p-values and e-values. Overall, the e-BH procedure is a novel, powerful and general tool for multiple testing under dependence, that is complementary to the BH procedure, each being an appropriate choice in different applications.

연구 동기 및 목표

• p-values 대신 e-values를 활용하여 다중 검정에 대한 강력한 FDR 제어 절차를 개발하는 것.
• BH와 같은 표준 FDR 절차의 한계를 해결하는 것 — 즉, FDR 제어를 위해 독립성 또는 양의 회귀 종속성 조건이 필요하다는 점.
• 검정 통계량 간의 임의의 종속성 하에서도 FDR 제어를 유지하는 일반적인 방법을 제공하는 것.
• 복잡한 종속성, 구조화된 영향력, 선택 후 추론 상황에서 e-values가 p-values보다 우월함을 입증하는 것.
• 보정을 통한 p-value 및 e-value 기반 절차의 통합을 통해 BH 및 BY 절차가 e-BH 프레임워크의 특수 케이스임을 보여주는 것.

제안 방법

• Benjamini-Hochberg(BH) 절차의 유사 절차로, p-values 대신 e-values를 사용하는 e-BH 절차를 제안한다.
• e-values의 순서 통계량을 통해 e-BH 절차를 정의: 임계값 함수로 결정된 임계값 이하까지 가장 큰 e-values를 갖는 영향력을 기각한다.
• e-values 간의 어떤 종속성 구조 하에서도 e-BH 절차가 노미널 수준 α에서 FDR 제어를 보장함을 수립한다. 보정이 필요하지 않다.
• p-values를 e-values로 변환할 수 있는 보정 메커니즘을 도입하여, p-values만 존재할 경우에도 e-BH를 사용할 수 있도록 한다.
• e-values의 부분적인 분포 정보가 있을 경우에 활용 가능한 가중치 e-values 처리 및 강화(boosting) 기능을 확장한다.
• 임의의 e-values 종속성 하에서 e-testing 절차의 클래스 내에서 e-BH 절차가 최적임을 입증한다.

실험 결과

연구 질문

• RQ1 e-values를 사용할 경우, 검정 통계량 간의 임의의 종속성 하에서도 유효성이 유지되는 FDR 제어 절차를 설계할 수 있는가?
• RQ2 e-BH 절차의 성능은 표준 BH 및 Benjamini-Yekutieli(BY) 절차와 비교해 복수 검정 상황에서 발견률 및 FDR 제어 측면에서 어떻게 다를까?
• RQ3 복잡한 종속성, 구조화된 영향력, 선택 후 추론 상황에서 e-values는 검정력을 얼마나 향상시킬 수 있는가?
• RQ4 동일한 영향력에 대해 e-values와 p-values가 모두 존재하는 하이브리드 설정에서 e-BH 절차를 확장할 수 있는가?
• RQ5 다변량 정규 종속성 구조에서 FDR 제어를 위해 e-values를 사용하는 데 이론적 이점이 있는가?

주요 결과

• e-BH 절차는 e-values 간의 어떤 종속성 구조 하에서도 노미널 수준 α에서 FDR 제어를 보장하며, 보정이 필요하지 않다.
• cryptocurrency 포트폴리오 선택 실험에서, 27개 설정 중 25개에서 BY 절차보다 더 많은 코인을 선택하여 더 높은 검정력을 보였다.
• K=496개 코인에 대해, α=5%일 때 e-BH는 3개(보유 전략), 42개(50% 재균형), 21개(30% 재균형)를 선택했으며, 모든 경우에서 BY를 능가했다. 유일한 예외를 제외하고는.
• 정리 5에 의해, 임의의 e-values 종속성 하에서 e-BH 절차는 e-testing 절차의 클래스 G(φ) 내에서 최적이며, 이는 최적성임을 입증한다.
• p-values와 e-values 간의 보정을 통해 e-BH 절차는 BH 및 BY 절차를 특수 케이스로 포함한다.
• p-values에서 보정된 경우에도, 일부 시뮬레이션 설정에서 e-BH 절차가 BY 절차를 능가함을 보여, 실제 적용 사례에서 잠재적인 이점이 있음을 시사한다.