[논문 리뷰] AdaPT: An interactive procedure for multiple testing with side information

Lihua Lei, William Fithian|arXiv (Cornell University)|2016. 09. 20.

Statistical Methods in Clinical Trials참고 문헌 41인용 수 12

한 줄 요약

AdaPT는 측정 가능한 측정값(예측 변수)을 활용하여 유의수준 기각 임계값을 적응적으로 추정하는 상호작용형, 유한표본 FDR(거짓 발견률) 제어 절차이다. 반복적으로 보다 유연한 모델링과 절단된 p값을 사용하여 임계값 추정을 정교화함으로써, 전통적인 방법(예: Benjamini-Hochberg)보다 더 높은 통계적 검정력을 확보하면서도 무작위성을 도입하지 않고 엄격한 FDR 제어를 유지한다.

ABSTRACT

We consider the problem of multiple hypothesis testing with generic side information: for each hypothesis $H_i$ we observe both a p-value $p_i$ and some predictor $x_i$ encoding contextual information about the hypothesis. For large-scale problems, adaptively focusing power on the more promising hypotheses (those more likely to yield discoveries) can lead to much more powerful multiple testing procedures. We propose a general iterative framework for this problem, called the Adaptive p-value Thresholding (AdaPT) procedure, which adaptively estimates a Bayes-optimal p-value rejection threshold and controls the false discovery rate (FDR) in finite samples. At each iteration of the procedure, the analyst proposes a rejection threshold and observes partially censored p-values, estimates the false discovery proportion (FDP) below the threshold, and either stops to reject or proposes another threshold, until the estimated FDP is below $α$. Our procedure is adaptive in an unusually strong sense, permitting the analyst to use any statistical or machine learning method she chooses to estimate the optimal threshold, and to switch between different models at each iteration as information accrues. We demonstrate the favorable performance of AdaPT by comparing it to state-of-the-art methods in five real applications and two simulation studies.

연구 동기 및 목표

• 교환 가능성이 없고 사전 지식이 있는 대규모 설정에서의 민감하고도 영향력 있는 다중 검정 절차의 필요성을 해결한다.
• 선택적 추론에서 사전에 지정된 선택 알고리즘의 한계를 극복하기 위해, 통계적 타당성 보장을 갖춘 상호작용형 데이터 적응형 분석을 가능하게 한다.
• 분석자가 반복적으로 p값 기각 임계값을 정교화할 수 있도록 하는 프레임워크를 개발하며, 이는 유한표본 FDR 제어를 유지한다.
• 측정값(예측 변수)을 통합하여 더 유망한 가설에 검정력을 집중시켜 실제 응용에서 발견률을 향상시킨다.
• 전체 FDR 제어와 함께 각 가설에 대한 국소 FDR 추정치를 제공하여 전역 오류 비율을 넘어서 해석 가능한 증거 요약을 가능하게 한다.

제안 방법

• 분석자가 각 단계에서 p값 기각 임계값을 선택하고, 데이터는 그 임계값 이하의 p값들만 노출되는(절단된 데이터) 상호작용적 반복 프레임워크를 제안한다.
• 각 반복 단계에서 관측된 절단된 p값과 예측 변수를 기반으로 유연한 모델을 사용해 현재 임계값 이하의 거짓 발견 비율(FDP)을 추정한다.
• 마틴갈 기반의 선택적 정지 논증을 사용하여, 분석자가 반복 과정에서 모델을 적응적으로 업데이트하더라도 유한표본 FDR 제어를 보장한다.
• 분석자가 통계적 또는 머신러닝 모델을 어떤 방식으로든 사용하여 최적의 기각 임계값을 추정할 수 있도록 허용하며, 반복 과정에서 모델을 변경하는 것도 가능하다.
• 각 p값과 그 거울상(p_i와 1 - p_i)의 교환 가능성을 활용하여 독립적인 노크오프 변수를 도입하지 않고도 타당한 통계적 보장을 구축한다.
• 전체 FDR 수준 α에서 제어되는 기각 목록과 함께 각 기각된 가설에 대한 국소 FDR 추정치를 반환한다.

실험 결과

연구 질문

• RQ1 상호작용형 다중 검정 절차가 측정값을 활용하여 기존의 FDR 제어 방법보다 유의미하게 통계적 검정력을 향상시킬 수 있는가?
• RQ2 분석자가 누적된 데이터에 기반해 모델을 업데이트하는 상호작용형 적응형 프레임워크에서 어떻게 유한표본 FDR 제어를 유지할 수 있는가?
• RQ3 유연하고 데이터 기반의 모델을 활용한 기각 임계값 추정이 실제 다중 검정 문제에서 발견률을 얼마나 향상시킬 수 있는가?
• RQ4 AdaPT와 기존 방법(예: Knockoff+ 및 Benjamini-Hochberg 절차) 간의 검정력과 통계적 보장 측면에서의 관계는 어떠한가?
• RQ5 AdaPT에서 유도된 국소 FDR 추정치는 전역 FDR 제어만으로는 제공할 수 없는 더 유용한 증거를 제공할 수 있으며, 어떤 조건에서 신뢰할 수 있는가?

주요 결과

• AdaPT는 분석자가 각 반복에서 다른 모델을 사용하는 등 임의의 적응적 모델 업데이트 조건 하에서도 유한표본 FDR 제어를 달성한다.
• 다섯 개의 실제 응용 사례와 두 개의 시뮬레이션 연구에서, AdaPT는 상태의 기술보다 뛰어난 발견 검정력을 보이며 FDR 제어를 유지했다.
• 측정값이 정보를 제공할 경우, AdaPT는 Benjamini-Hochberg 절차가 전혀 기각하지 못한 수백 개의 가설을 기각하는 데서도 상당한 발견률 향상을 보였다.
• AdaPT가 생성한 국소 FDR 추정치는 정보를 제공하는 것으로 나타났지만, 이는 두 그룹 모델과 π₁(x), f₁(p|x)의 정확한 사양에 강한 모델링 가정에 의존한다.
• AdaPT는 노크오프 기반 방법과 달리 추론 과정에 무작위성을 도입하지 않아 결정론적이며 충분통계량을 유지하는 절차이다.
• 절단된 p값과 거울상 성질(p_i와 1 - p_i)을 활용함으로써, 독립적인 노크오프 변수가 필요 없이 FDR 제어를 달성할 수 있어 구현과 해석을 단순화한다.