[논문 리뷰] ADDIS: an adaptive discarding algorithm for online FDR control with conservative nulls

Jinjin Tian, Aaditya Ramdas|arXiv (Cornell University)|2019. 05. 27.

Statistical Methods in Clinical Trials참고 문헌 11인용 수 9

한 줄 요약

이 논문은 보편적으로 발생하는 실제 상황인 귀무가설 p-값이 보수적인 경우에 유의미한 통계적 검정력을 확보하면서도 증명 가능한 FDR 제어를 유지하는, 온라인 FDR 제어를 위한 적응형 기각 제거 알고리즘인 ADDIS를 소개한다. 전통적인 방법들인 SAFFRON과 LORD++에 비해 보수적인 귀무가설 하에서 더 높은 검정력을 달성하며, 비균일 귀무가설 하에서도 성능 저하 없이 작동한다.

ABSTRACT

Major internet companies routinely perform tens of thousands of A/B tests each year. Such large-scale sequential experimentation has resulted in a recent spurt of new algorithms that can provably control the false discovery rate (FDR) in a fully online fashion. However, current state-of-the-art adaptive algorithms can suffer from a significant loss in power if null p-values are conservative (stochastically larger than the uniform distribution), a situation that occurs frequently in practice. In this work, we introduce a new adaptive discarding method called ADDIS that provably controls the FDR and achieves the best of both worlds: it enjoys appreciable power increase over all existing methods if nulls are conservative (the practical case), and rarely loses power if nulls are exactly uniformly distributed (the ideal case). We provide several practical insights on robust choices of tuning parameters, and extend the idea to asynchronous and offline settings as well.

연구 동기 및 목표

• 귀무가설 p-값이 균일 분포보다 확률적으로 큰(보수적인) 경우에 발생하는 기존 온라인 FDR 제어 방법의 검정력 손실 문제를 해결하기 위해.
• 보수적인 귀무가설 하에서 최신 기술 수준의 방법보다 더 높은 통계적 검정력을 확보하면서도 증명 가능한 FDR 제어를 유지하는 알고리즘을 개발하기 위해.
• 다양한 귀무분포에 걸쳐 뛰어난 성능을 보장하는 강건한 튜닝 파rameter 선택을 제공하기 위해.
• 기존 표준 온라인 설정 외에도 이종적 및 오프라인 설정으로의 프레임워크 확장을 위해.

제안 방법

• ADDIS는 임계값 τ를 초과하는 p-값을 향후 고려에서 제외하는 기각 메커니즘을 도입하여, 발견 수를 줄이고 FDR 예산을 절약한다.
• 누적 발견 이력과 자산 축적 메커니즘을 기반으로 한 적응형 임계값 αₜ를 사용하는 수정된 알파-투자 프레임워크를 활용한다.
• 과거 기각과 기각 제거에 기반해 동적으로 거부 임계값을 조정하기 위해 λ ∈ [α, τ) 및 τ를 사용하는 삼단계 임계값 전략을 적용한다.
• 균일하게 보수적인 귀무가설의 성질(누적분포함수의 볼록성)을 활용하여 기대 FDR이 α 이내로 제한됨을 보장한다.
• 과거 발견을 가중치로 부여하고 FDR을 재귀적 자산 업데이트 규칙을 통해 제어하기 위해 비증가성이고 합이 수렴하는 수열 {γⱼ}을 사용한다.
• 이론적 분석을 통해 ADDIS는 귀무가설이 균일하게 보수적이라는 가정 하에, p-값이 정확히 균일하지 않더라도 FDR을 수준 α로 제어함을 증명한다.

실험 결과

연구 질문

• RQ1 보수적인 귀무가설 p-값이 존재할 경우, 온라인 FDR 제어 알고리즘이 강력한 FDR 제어를 유지하면서도 더 높은 검정력을 확보할 수 있는가?
• RQ2 비유의적 p-값을 기각하는 전략을 적응형 FDR 절차에 통합할 수 있는가, 이로 인해 FDR 제어가 위반되지 않는가?
• RQ3 다양한 귀무분포에 걸쳐 일관된 성능을 보장하는 강건한 튜닝 파ram터 선택(τ, λ)은 무엇인가?
• RQ4 ADDIS 프레임워크는 표준 온라인 설정 외에도 이종적 및 오프라인 테스팅 환경으로 확장될 수 있는가?

주요 결과

• 보수적인 귀무가설 p-값 하에서 ADDIS는 SAFFRON과 LORD++에 비해 상당한 검정력 향상을 보이며, 다양한 설정에서의 시뮬레이션 결과에서도 유의미한 개선이 관찰된다.
• 균일 분포의 귀무가설이라는 이상적인 경우, ADDIS는 기존 방법들과 비교해 거의 검정력을 잃지 않으며, 거의 최적의 성능을 유지한다.
• 균일하게 보수적인 귀무가설을 가정할 경우, ADDIS는 진정한 귀무분포가 정확히 균일하지 않더라도 FDR을 수준 α로 증명 가능하게 제어한다.
• g∘F의 히트맵 분석은 μₙ, μₐ, πₐ 등의 다양한 파ram터 설정에서 일관된 행동을 보이며, 모형 잘못 설정에 대한 강건성을 시사한다.
• 이론적 분석을 통해 기각 메커니즘이 보수적인 p-값의 단조성과 볼록성 성질 덕분에 FDR 제어가 손상되지 않음을 확인한다.