[논문 리뷰] Asynchronous Online Testing of Multiple Hypotheses

Tijana Zrnic, Aaditya Ramdas외 1명|arXiv (Cornell University)|2018. 12. 12.

Machine Learning and Algorithms참고 문헌 33인용 수 15

한 줄 요약

이 논문은 테스트 통계량 간 局소적 의존성 하에서 가역적 온라인 다중 가설 검정의 새로운 프레임워크를 제안하며, 충돌 집합 추상화를 통해 의존성을 관리함으로써 FDR(거짓 발견률)를 통제한다. 이 프레임워크는 분산형, 겹치는 검정 환경에서도 공식적인 FDR 통제를 유지하는 알고리즘들인 SAFFRON$_{\text{dep}}$ 및 LORD$_{\text{dep}}$를 제안하며, 현실적인 의존 구조 하에서 기존 방법들에 비해 검정력이 뛰어나다.

ABSTRACT

We consider the problem of asynchronous online testing, aimed at providing control of the false discovery rate (FDR) during a continual stream of data collection and testing, where each test may be a sequential test that can start and stop at arbitrary times. This setting increasingly characterizes real-world applications in science and industry, where teams of researchers across large organizations may conduct tests of hypotheses in a decentralized manner. The overlap in time and space also tends to induce dependencies among test statistics, a challenge for classical methodology, which either assumes (overly optimistically) independence or (overly pessimistically) arbitrary dependence between test statistics. We present a general framework that addresses both of these issues via a unified computational abstraction that we refer to as "conflict sets." We show how this framework yields algorithms with formal FDR guarantees under a more intermediate, local notion of dependence. We illustrate our algorithms in simulations by comparing to existing algorithms for online FDR control.

연구 동기 및 목표

• 실시간, 분산형, 겹치는 가설 검정 스트림에서 거짓 발견률(FDR) 통제의 과제를 해결하기 위해.
• 비동기 온라인 검정에서 테스트 통계량 간 의존성을 모델링하고 관리하여, 과도하게 낙관적인 독립성 또는 비현실적인 임의의 의존성 가정을 피하기 위해.
• 더 현실적인 국소적 의존 구조 하에서 공식적인 FDR 통제를 가능하게 하는 통합된 계산 추상화인 '충돌 집합'을 개발하기 위해.
• 비동기 환경에서 FDR 통제를 유지하면서 통계적 검정력을 극대화하는 실용적 알고리즘(예: SAFFRON$_{\text{dep}}$, LORD$_{\text{dep}}$)을 설계하기 위해.
• 실제 데이터에서 국소적 의존성을 보이는 사례, 예를 들어 IMPC 데이터베이스의 고속도 표현형 스크리닝 자료를 바탕으로 프레임워크를 검증하기 위해.

제안 방법

• 각 테스트의 중요도 수준이 이전에 완료된 테스트들에만 의존하는 바탕으로, 겹치는 의존성을 표현하기 위해 '충돌 집합'을 계산 추상화로 도입한다.
• 국소적 의존 조건 정의: 각 테스트 $t$에 대해 유한한 $L_t$가 존재하여 $P_t$가 $s > t + L_t$ 인 $P_s$와 독립적이게 하며, 시간에 따라 감쇠하는 의존성을 캡처한다.
• 충돌 집합을 통합하여 SAFFRON 및 LORD 온라인 FDR 절차를 수정함으로써, 과거 발견 및 의존성 구조에 기반해 중요도 수준을 조정한다.
• 비동기 설정으로 확장된 PRDS(부정적 회귀 의존성의 부분집합에 대한 조건) 조건을 활용해 국소적 의존성 하에서 이론적 FDR 통제 보장을 도출한다.
• 대규모 검정 스트림에서 FDR 통제를 유지하면서 계산 효율성을 향상시키기 위해 알파-인베스팅의 마이너스 배치 변형을 활용한다.
• 각 테스트 이후 갱신되는 '자산' 변수를 통해 거짓 발견 예산을 추적하는 자산 기반 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 테스트 통계량이 상호 독립적이거나 임의의 의존성일 때가 아니라 국소적 의존성이 존재하는 비동기 온라인 다중 검정에서 FDR을 공식적으로 통제할 수 있는가?
• RQ2 충돌 집합과 같은 계산 추상화는 분산형, 겹치는 검정 스트림에서 의존성을 어떻게 모델링하고 관리할 수 있는가?
• RQ3 비동기 대비 동기 온라인 FDR 절차에서 통계적 검정력과 시간 효율성 사이의 상충 관계는 어떠한가?
• RQ4 제안된 알고리즘(SAFFRON$_{\text{dep}}$, LORD$_{\text{dep}}$)은 국소적 의존성 하에서 기존 방법들과 비교해 실질적으로 어떻게 성능을 발휘하는가?
• RQ5 실제 세계 자료에서 시간 상관이 있는 가설(예: IMPC 마우스 표현형 분석 자료)은 어느 정도 국소적 의존성을 보이며, 이 프레임워크는 그러한 구조를 어떻게 다룰 수 있는가?

주요 결과

• 제안된 프레임워크는 비동기 검정에서 더 현실적인 국소적 의존성 가정 하에 공식적인 FDR 통제를 달성한다.
• 모의 및 실제 국소적 의존성 자료에서 SAFFRON$_{\text{dep}}$ 및 LORD$_{\text{dep}}$는 표준 알파-스페딩 및 기준 온라인 FDR 방법에 비해 통계적 검정력에서 뛰어난 성능을 보였다.
• IMPC 마우스 표현형 분석 데이터셋에 대한 실험에서, $\lambda=0.1$ 인 SAFFRON$_{\text{dep}}$는 모든 목표 FDR 수준에서 LORD$_{\text{dep}}$ 및 알파-스페딩보다 더 많은 발견을 하였다. 이는 검정력 향상을 입증한다.
• 모의 실험 및 실제 사례 연구에서 테스트가 시간적으로 겹치고 데이터를 공유하더라도 프레임워크는 FDR 통제를 유지함을 보였다.
• 모의 실험에서 mFDR(수정된 FDR) 추정치는 FDR을 정확히 따라가며, 이론적 보장과 유한 표본에서의 강건성을 검증하였다.
• 충돌 집합의 사용은 실시간 대규모 응용에 적합한 확장 가능한 분산형 의사결정을 가능하게 하며, 진행 중인 테스트 간의 조율이 필요 없음을 보여준다.