[논문 리뷰] Dynamic Algorithms for Online Multiple Testing

Ziyu Xu, Aaditya Ramdas|arXiv (Cornell University)|2020. 10. 26.

VLSI and Analog Circuit Testing참고 문헌 15인용 수 7

한 줄 요약

이 논문은 가짜 발각 초과(FDX)를 제어하면서 이전 방법들에 비해 훨씬 높은 통계적 검정력을 갖춘 동적 온라인 다중 검정 알고리즘인 SupLORD를 소개한다. 적응적이고 자산 기반의 임계값 조정을 통해 SupLORD는 정지 시점에서 증명 가능하게 FDR를 제어하며, 이는 그러한 시점에서 FDR 제어를 보장하는 비자명한 알고리즘으로서의 첫 사례이다. 또한 FDR, FDX, SupFDR를 동시에 제어할 수 있다.

ABSTRACT

We derive new algorithms for online multiple testing that provably control false discovery exceedance (FDX) while achieving orders of magnitude more power than previous methods. This statistical advance is enabled by the development of new algorithmic ideas: earlier algorithms are more "static" while our new ones allow for the dynamical adjustment of testing levels based on the amount of wealth the algorithm has accumulated. We demonstrate that our algorithms achieve higher power in a variety of synthetic experiments. We also prove that SupLORD can provide error control for both FDR and FDX, and controls FDR at stopping times. Stopping times are particularly important as they permit the experimenter to end the experiment arbitrarily early while maintaining desired control of the FDR. SupLORD is the first non-trivial algorithm, to our knowledge, that can control FDR at stopping times in the online setting.

연구 동기 및 목표

• 온라인 다중 검정에서 확률적 오류 제어의 부재를 해결하기 위해, 가짜 발각 비율의 꼬리 확률을 제한하는 FDX 제어를 도입한다.
• 순차적 검정 중 춴적된 통계적 '자산'에 적응하지 않는 정적 알파-인베스팅 알고리즘의 한계를 극복한다.
• 이전 성능과 남은 알파 예산을 바탕으로 테스트 수준을 조정함으로써 검정력을 향상시키는 동적 스케줄링 프레임워크를 개발한다.
• 온라인 환경에서 정지 시점에서 FDR 제어를 처음으로 증명 가능한 방법으로 달성함으로써, 오류 보장을 훼손하지 않은 채 조기 종료를 가능하게 한다.
• SupLORD가 FDX, FDR, SupFDR를 동시에 제어할 수 있음을 보여주며, 순차적 가설 검정에 대한 통합적이고 강력한 오류 제어 프레임워크를 제공한다.

제안 방법

• 누적된 자산에서 유래한 동적 스케줄링을 允허하는 일반화된 알파-인베스팅(GAI) 프레임워크를 제안하여, 이전 기각 결과에 기반한 임계값 조정이 가능하도록 한다.
• FDX 제어와 검정력 최대화 사이의 트레이드오프에서 유도된 부스팅 시퀀스를 사용하여, 동적 GAI의 특정 구현으로서 SupLORD 알고리즘을 도입한다.
• 자산 기반 알파 소비 규칙을 제안하여 동적으로 의미 수준을 할당함으로써, 이전 테스트가 유의미하지 않은 경우 검정력을 높이고, 발견이 이루어진 경우 알파를 절약한다.
• 시간에 관계없이 유효한 농도 불등식을 활용하여 FDP에 대한 타당하고 점근적이지 않은 경계를 도출함으로써, 고확률로 FDX 제어를 가능하게 한다.
• 임의의 정지 규칙 하에서 기대 FDP가 유한하게 유지됨을 보여줌으로써, SupLORD가 정지 시점에서 FDR을 제어함을 증명한다.
• SupFDR 제어를 SupLORD에 통합하여, FDP가 낮을 것으로 예상될 경우 더 강력한 오류 제어를 제공함으로써 다양한 데이터 환경에서의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 누적된 자산에 기반한 테스트 수준의 동적 조정이 FDX 제어를 유지하면서 온라인 다중 검정에서 통계적 검정력을 향상시킬 수 있는가?
• RQ2 결정이 취소 불가능하고 귀무가설의 수가 사전에 알려지지 않은 온라인 다중 검정 환경에서 정지 시점에서 FDR 제어를 달성할 수 있는가?
• RQ3 다양한 데이터 분포에서 동적 스케줄링은 정적 알파-인베스팅 규칙에 비해 검정력과 오류 제어 측면에서 어떻게 비교되는가?
• RQ4 단일 알고리즘이 FDX, FDR, SupFDR를 동시에 제어할 수 있으며, 그 경우의 매개수 조정에서의 트레이드오프는 무엇인가?
• RQ5 동적 스케줄링에서 매개수 η와 ρ를 설정하는 최적 전략은 무엇이며, 이는 검정력을 극대화하면서도 오류 제어를 유지하는 데 어떻게 기여하는가?

주요 결과

• 합성 실험에서 SupLORD는 이전의 FDX 제어 알고리즘보다 수개의 주기 높은 검정력을 확보하여 실증적 성과를 크게 향상시켰다.
• SupLORD는 온라인 환경에서 정지 시점에서 FDR 제어를 증명 가능한 방법으로 달성하는 최초의 알고리즘이며, 오류 보장을 훼손하지 않은 채 조기 종료를 가능하게 한다.
• 동적 스케줄링 프레임워크는 이론적 알파 예산과 실제 사용량 간 격차를 줄여주며, 정적 규칙에 비해 더 효율적이고 강력한 검정을 가능하게 한다.
• SupLORD는 FDX, FDR, SupFDR를 동시에 제어하여 순차적 가설 검정에서 다중 오류 지표를 위한 통합 솔루션을 제공한다.
• 수치 시뮬레이션 결과 SupLORD는 체중 꼬리 분포와 숨겨진 마르코프 모델 조건에서도 강력한 FDX 제어를 유지함을 보여주며, 종속성 구조에 대한 강건성을 입증한다.
• 실제 데이터에서의 성능 검증을 통해, 순차적 의사결정이 핵심적인 생물의학 및 A/B 테스트 응용 분야에서의 실용적 유용성을 확인하였다.