[논문 리뷰] Online control of the false discovery rate with decaying memory

Aaditya Ramdas, Fanny Yang외 2명|arXiv (Cornell University)|2017. 10. 02.

Statistical Methods in Clinical Trials참고 문헌 6인용 수 20

한 줄 요약

이 논문은 동적 알파-웨딩 관리 기반으로 검정력(power)을 향상시키고, 도메인 특화된 가설 우선순위 지정을 위해 사전 가중치(prior weights)와 페널티 가중치(penalty weights)를 통합하며, 시간적 검정에서 '피기백킹'(piggybacking)과 '알파-데스'(alpha-death) 문제를 해결하기 위해 감쇠 메모리 FDR(mem-FDR)를 도입한 개선된 온라인 가짜 발제율(FDR) 제어 프레임워크인 GAI++을 제안한다. 이 방법은 이론적 보장을 유지하면서도 순차적 검정 시나리오에서 통계적 검정력을 크게 향상시킨다.

ABSTRACT

In the online multiple testing problem, p-values corresponding to different null hypotheses are observed one by one, and the decision of whether or not to reject the current hypothesis must be made immediately, after which the next p-value is observed. Alpha-investing algorithms to control the false discovery rate (FDR), formulated by Foster and Stine, have been generalized and applied to many settings, including quality-preserving databases in science and multiple A/B or multi-armed bandit tests for internet commerce. This paper improves the class of generalized alpha-investing algorithms (GAI) in four ways: (a) we show how to uniformly improve the power of the entire class of monotone GAI procedures by awarding more alpha-wealth for each rejection, giving a win-win resolution to a recent dilemma raised by Javanmard and Montanari, (b) we demonstrate how to incorporate prior weights to indicate domain knowledge of which hypotheses are likely to be non-null, (c) we allow for differing penalties for false discoveries to indicate that some hypotheses may be more important than others, (d) we define a new quantity called the decaying memory false discovery rate (mem-FDR) that may be more meaningful for truly temporal applications, and which alleviates problems that we describe and refer to as "piggybacking" and "alpha-death". Our GAI++ algorithms incorporate all four generalizations simultaneously, and reduce to more powerful variants of earlier algorithms when the weights and decay are all set to unity. Finally, we also describe a simple method to derive new online FDR rules based on an estimated false discovery proportion.

연구 동기 및 목표

• 기존의 온라인 FDR 절차에서의 한계, 특히 순차적 검정에서의 '피기백킹'과 '알파-데스' 문제를 해결하기 위해.
• 기각 결과에 기반한 동적 알파-웨딩 관리 방식을 통해 온라인 다중 검정에서 통계적 검정력을 향상시키기 위해.
• 사전 가중치와 이중성 페널티를 통해 도메인 특화 지식을 통합하여 가설의 비정상성 가능성에 대한 사전 정보를 반영하기 위해.
• 시간적 의존성을 더 잘 반영할 수 있도록 시간에 따라 지수 감쇠를 적용한 새로운 FDR 측정기준인 감쇠 메모리 FDR(mem-FDR)를 정식화하기 위해.
• 기존의 알파-인베스팅 알고리즘들을 하나의 더 강력한 프레임워크(GAI++)로 통합 및 일반화하기 위해.

제안 방법

• 기각 시마다 웰스를 증가시키는 동적 알파-웨딩 업데이트 규칙을 가진 일반화된 알파-인베스팅(GAI) 프레임워크를 제안하여, 단조성 절차 전반에 걸쳐 검정력을 균일하게 향상시킨다.
• 가설이 비정상일 가능성이 높다는 도메인 지식을 표현하기 위해 사전 가중치를 도입하여, 더 유망한 가설에 대해 더 높은 유의수준 임계값을 허용한다.
• 가짜 발제의 결과에 따라 다르게 반영되는 비용을 반영하기 위해 페널티 가중치를 통합하여, 가설 간 오류 수용 수준의 이원화를 가능하게 한다.
• 과거의 발견 영향을 줄이기 위해 시간에 따라 지수 감쇠를 적용한 새로운 FDR 측정기준인 mem-FDR를 정의한다.
• 추정된 가짜 발제 비율에 기반한 새로운 온라인 FDR 규칙 클래스를 유도하여, 순차적 검정에서 적응형 임계값 설정을 가능하게 한다.
• 마팅갈레 이론과 재귀적 웰스 동역학을 통해 이론적 FDR 제어를 확립하며, mem-FDR가 새로운 GAI++ 규칙 하에서 null 조건 하에 α 이하로 제한됨을 증명한다.

실험 결과

연구 질문

• RQ1 이론적 보장을 유지하면서도 온라인 FDR 제어의 검정력을 향상시킬 수 있는가?
• RQ2 가설의 비정상성 가능성에 대한 사전 지식를 온라인 FDR 절차에 체계적으로 통합할 수 있는가?
• RQ3 페널티 가중치를 사용하여 순차적 검정에서 가짜 발제의 비용 차이를 모델링할 수 있는가?
• RQ4 감쇠 메모리 메커니즘이 온라인 FDR 제어에서 '피기백킹'과 '알파-데스' 문제를 완화하는가?
• RQ5 기존의 온라인 FDR 규칙을 일반화하면서 성능을 향상시킬 수 있는 통합 프레임워크를 개발할 수 있는가?

주요 결과

• 기각 시마다 알파-웨딩을 증가시키는 방식으로, GAI++ 프레임워크는 모든 단조성 일반화된 알파-인베스팅 절차에 대해 검정력을 균일하게 향상시키며, 최근 문헌에서 제기된 딜레마를 해결한다.
• 사전 가중치를 통합하면 비정상 가설이 검정 순서에서 우선순위가 주어질 경우 예상 발견 수가 증가한다.
• 페널티 가중치를 통해 응용 분야의 위험 프로파일에 맞춘 민감한 FDR 제어가 가능해지며, 임상 시험에서 안전성을 우선시하는 경우 등에 적합하다.
• 감쇠 메모리 FDR(mem-FDR) 측정기준은 '피기백킹'(지연된 가짜 발제)과 '알파-데스'(최종적으로 알파-웨딩 고갈) 문제를 효과적으로 완화하며, 특히 장기적이거나 무한한 순차 시퀀스에서 두드러진다.
• 이론적 분석을 통해 GAI++는 비.i.i.d. p-값과 시간에 따라 변화하는 임계값이 존재하더라도, null 조건 하에 mem-FDR을 수준 α로 제어함을 증명한다.
• 부록의 수치 시뮬레이션은 GAI++가 정보가 있는 가중치와 감쇠를 포함한 다양한 구성 조건에서 기준 온라인 FDR 방법보다 더 높은 발견 비율을 달성함을 확인한다.