[논문 리뷰] Online control of the false discovery rate in biomedical research

David S. Robertson, James Wason|arXiv (Cornell University)|2018. 09. 19.

Statistical Methods in Clinical Trials참고 문헌 18인용 수 8

한 줄 요약

이 논문은 순차적 생물의학적 가설 검정에서 종속된 p-값 조건 하에서 온라인 가짜 발견률(FDR) 제어 절차를 비교한다. 종속된 p-값 조건 하에서도 FDR 제어가 강건한 것으로 나타나는 LORD++와 LOND 절차를 실용적 사용을 위해 권장하며, 수정된 LOND 절차는 가설 수에 상한을 두어 유한 표본 설정에서 성능을 향상시킨다.

ABSTRACT

Modern biomedical research frequently involves testing multiple related hypotheses, while maintaining control over a suitable error rate. In many applications the false discovery rate (FDR), which is the expected proportion of false positives among the rejected hypotheses, has become the standard error criterion. Procedures that control the FDR, such as the well-known Benjamini-Hochberg procedure, assume that all p-values are available to be tested at a single time point. However, this ignores the sequential nature of many biomedical experiments, where a sequence of hypotheses is tested without having access to future p-values or even the number of hypotheses. Recently, the first procedures that control the FDR in this online manner have been proposed by Javanmard and Montanari (Ann. Stat. 2018), and built upon by Ramdas et al. (NIPS 2017, ICML 2018). In this paper, we compare and contrast these proposed procedures, with a particular focus on the setting where the p-values are dependent. We also propose a simple modification of the procedures for when there is an upper bound on the number of hypotheses to be tested. Using comprehensive simulation scenarios and case studies, we provide recommendations for which procedures to use in practice for online FDR control.

연구 동기 및 목표

• 생물의학 데이터에서 흔히 발생하는 p-값의 종속성 조건 하에서 실제적인 조건에서 기존의 온라인 FDR 제어 절차의 성능을 평가하고 비교하는 것.
• 임상 및 게놈 연구에서 흔한 가설 총수의 상한이 존재하는 경우 온라인 FDR 방법의 격차를 해소하는 것.
• 시뮬레이션 및 사례 연구 결과를 바탕으로 온라인 FDR 절차 선택에 실용적인 권고를 제공하는 것.
• p-값 독립성 가정 위반 상황에서 온라인 FDR 방법의 강건성을 탐색하는 것 — 실제 응용에서의 핵심 고려사항.
• 소표본 또는 높은 상관관계가 있는 설정에서 잠재적으로 더 적절한 오류 측정지표인 가짜 발견 초과(FDX)의 잠재력을 평가하는 것.

제안 방법

• Javanmard와 Montanari의 일반화된 알파-투자 규칙, Ramdas 등이 제안한 LORD 2/3/++ 및 SAFFRON을 포함한 네 가지 주요 온라인 FDR 절차를 비교한다.
• 유한 표본 설정에서의 성능 향상을 위해 가설 수에 상한을 두어 LOND 절차를 수정한다.
• 등가상관, 공통 제어군 상관 등 다양한 종속성 구조 하에서 포괄적인 시뮬레이션을 실시하여 FDR 제어 및 검정력 평가.
• 실제 생물의학 데이터셋(예: 마우스 형질 데이터 및 뇌 영상 데이터)을 활용하여 실용적 상황에서의 성능을 검증한다.
• 시뮬레이션에서 적응형 절차 전환을 안내하기 위해 비밀번호가 아닌 가설의 비율을 추정하는 Storey 추정법을 적용한다.
• 모든 가설이 기각될 경우의 검정 수준의 점근적 행동을 분석하여 매개변수 선택(예: b₀, λ, w₀)을 안내한다.

실험 결과

연구 질문

• RQ1 유전체학 및 임상 시험에서 흔한 상황에서 종속된 p-값 조건 하에서 온라인 FDR 절차는 어떻게 성능을 발휘하는가?
• RQ2 가설 총수가 상한이 존재하는 조건에서 LOND 절차를 수정하여 검정력과 FDR 제어를 향상시킬 수 있는가?
• RQ3 중간 정도에서 강한 p-값 종속성 조건 하에서 FDR 제어와 통계적 검정력 사이의 최적 균형을 이루는 온라인 FDR 절차는 무엇인가?
• RQ4 유한 표본 설정에서 초기 자산(w₀), 보상 매개변수(b₀), 또는 튜닝 상수(λ)의 선택이 절차 성능에 어떤 영향을 미치는가?
• RQ5 소표본 또는 높은 상관관계가 있는 설정에서 FDR보다 FDX가 더 적절한 오류 측정지표일 수 있는가?

주요 결과

• LORD++와 LOND 절차는 중간 정도의 p-값 종속성 조건 하에서도 FDR 제어가 강건하며, FDR의 과다 증가가 거의 없이 유지된다.
• 가설 수에 상한을 두어 수정된 LOND 절차는 유한 표본 설정에서 검정력을 향상시키며 FDR 제어를 유지한다.
• 모든 테스트 통계량이 상관관계가 있는 경우조차도 LORD 2/3/++ 및 SAFFRON을 포함한 모든 테스트 절차에서 FDR 제어가 유지된다.
• 대부분의 가설이 기각될 것으로 예상되는 경우 b₀ 및 λ의 선택이 성능에 상당한 영향을 미치며, 이는 고발견률 환경에서의 민감성과 관련된다.
• 모든 절차에서 FDR은 잘 제어되며, 가설 수가 적은 경우에도 그렇지만, 이 경우 FDP는 기대값과 크게 다를 수 있다.
• 소표본 또는 높은 상관관계가 있는 설정에서는 FDX가 FDR보다 더 의미 있는 측정지표일 수 있음을 확인하였으며, 온라인 설정에서의 공식적 활용을 위한 추가 연구가 필요하다.