[논문 리뷰] Power of Ordered Hypothesis Testing

Lihua Lei, William Fithian|arXiv (Cornell University)|2016. 06. 06.

Statistical Methods in Clinical Trials참고 문헌 15인용 수 12

한 줄 요약

이 논문은 선택적 SeqStep를 개선한 적응형 순서 기반 다중 검정 절차인 Adaptive SeqStep(AS)를 소개한다. 이는 비결정적 가설의 비율을 적응적으로 추정함으로써 다양한 순서 품질에서 높은 통계적 검정력을 확보한다. 다양한 계수를 가진 이중군 모형 하에서 渐近적으로 최적이며, 사전 순서가 약하거나 비결정적 효과가 희박한 경우 ForwardStop과 같은 누적 검정보다 뛰어난 성능을 보인다.

ABSTRACT

Ordered testing procedures are multiple testing procedures that exploit a pre-specified ordering of the null hypotheses, from most to least promising. We analyze and compare the power of several recent proposals using the asymptotic framework of Li & Barber (2015). While accumulation tests including ForwardStop can be quite powerful when the ordering is very informative, they are asymptotically powerless when the ordering is weaker. By contrast, Selective SeqStep, proposed by Barber & Candès (2015), is much less sensitive to the quality of the ordering. We compare the power of these procedures in different régimes, concluding that Selective SeqStep dominates accumulation tests if either the ordering is weak or non-null hypotheses are sparse or weak. Motivated by our asymptotic analysis, we derive an improved version of Selective SeqStep which we call Adaptive SeqStep, analogous to Storey's improvement on the Benjamini-Hochberg procedure. We compare these methods using the GEOQuery data set analyzed by Li & Barber (2015) and find Adaptive SeqStep has favorable performance for both good and bad prior orderings.

연구 동기 및 목표

• 사전 가설 순서를 활용하면서도 순서가 약하거나 정보가 없을 경우에도 효과적인 더 강력하고 견고한 다중 검정 절차를 개발하는 것.
• Storey의 Benjamini-Hochberg 개선 방식과 유사하게 비결정적 비율의 적응적 추정을 통합함으로써 Selective SeqStep 절차를 확장하는 것.
• Adaptive SeqStep의 渐近적 검정력을 분석하고, 다양한 모형 체제 하에서 누적 검정 및 Selective SeqStep와 같은 기존 방법과 비교하는 것.
• 실제 지노믹 데이터셋인 GEOQuery를 활용하여 이론적 결과를 검증함으로써, 양호한 및 열악한 사전 순서에서의 성능 안정성을 입증하는 것.

제안 방법

• 데이터 기반 임계값 설정 방식을 사용하여 비결정적 가설의 비율을 적응적으로 추정하는 새로운 순서 기반 검정 절차인 Adaptive SeqStep(AS)를 제안한다.
• p-값의 매끄러운 경험적 분포 함수를 사용하여 비결정적 비율의 누적 비율을 추정함으로써, 고정 임계값 방법 대비 FDR 제어 및 검정력 향상을 달성한다.
• 변동 계수를 가진 이중군 모형 기반으로 AS의 渐近적 FDR 추정량을 유도하여, 대표적 표본 크기에서 정확한 검정력 분석이 가능하도록 한다.
• 리프시츠 연속성 원리를 적용하여 추정된 FDP가 이론적 값으로 거의 확실히 수렴함을 보이며, 이는 渐近적 FDR 제어를 보장한다.
• 목표 수준 q 이하로 추정된 FDR이 유지되는 가장 큰 k를 선택하는 임계값 규칙을 도입함으로써 오류를 통제하면서 발견 수를 최대화한다.
• 두 단계 추정 전략을 활용: 먼저 플러그인 추정량을 통해 비결정적 비율을 추정하고, 이를 바탕으로 기각 임계값을 조정함으로써 검정력을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 순서가 약하거나 정보가 없을 경우 Adaptive SeqStep의 검정력은 Selective SeqStep 및 누적 검정과 비교해 어떻게 되는가?
• RQ2 변동 계수를 가진 이중군 모형 하에서 Adaptive SeqStep의 渐近적 검정력은 무엇이며, 비결정적 효과의 강도와 희박성에 따라 어떻게 달라지는가?
• RQ3 비결정적 비율의 적응적 추정은 고정 임계값 또는 비적응적 방법 대비 순서 기반 검정에서 발견 능력을 크게 향상시킬 수 있는가?
• RQ4 Adaptive SeqStep의 성능은 사전 순서의 품질에 따라 어떻게 변하는가—특히 순서가 열악하거나 잘못된 경우에 대해 어떻게 되는가?
• RQ5 Adaptive SeqStep의 향상된 검정력은 유한 표본 설정, 특히 실제 유전체 데이터에서 유지되는가?

주요 결과

• 추정된 FDR 임계값이 비결정적 영역의 경계에 있을 경우 Adaptive SeqStep는 $ F_1(s) $의 渐近적 검정력을 확보하며, 유리한 조건에서 최적의 발견률을 달성함을 나타낸다.
• FDR 임계값이 비결정적 영역 내부에 있을 경우 Adaptive SeqStep의 渐近적 검정력은 $ \frac{t^{*}_{AS} \Pi(t^{*}_{AS}) F_1(s)}{\Pi(1)} $로 표현되며, 여기서 $ t^{*}_{AS} $는 FDR 제약 조건에 의해 결정된 최적의 정지 지점이다.
• 사전 순서가 약하거나 비결정적 효과가 희박하고 약할 경우 Adaptive SeqStep는 ForwardStop과 같은 누적 검정을 압도한다. 이는 열악한 순서에 대한 강건성 덕분이다.
• 사전 순서가 매우 정보가 많을 경우 누적 검정이 여전히 AS를 능가할 수 있지만, 순서가 떨어지면서 이 우월성은 급격히 감소한다.
• 유한 표본 시뮬레이션과 GEOQuery의 복용량 반응 데이터셋에 대한 실데이터 분석 결과, Adaptive SeqStep는 양호한 순서뿐 아니라 열악한 순서에서도 높은 검정력을 유지함을 확인하였다.
• 渐近적 분석 결과 Adaptive SeqStep는 일致성과 함께 추정된 FDP가 이론적 값으로 거의 확실히 수렴함을 확인하였으며, 이는 신뢰할 수 있는 FDR 제어를 보장한다.