[논문 리뷰] Accumulation tests for FDR control in ordered hypothesis testing

Ang Li, Rina Foygel Barber|arXiv (Cornell University)|2015. 05. 27.

Statistical Methods in Clinical Trials참고 문헌 35인용 수 5

한 줄 요약

이 논문은 가설이 진리 신호일 가능성에 대한 사전 믿음에 따라 순서가 매겨진 사전 정보 하에서 다중 가설 검정을 위한 누적 검정의 가족을 소개한다. 새로운 HingeExp 방법은 유한 표본에서 수정된 FDR를 통제하면서 검정력(파워)을 극대화할 수 있도록 적응적으로 발견 기준을 선택한다. 이는 시뮬레이션과 실제 유전자 발현 데이터에서 기존의 Benjamini-Hochberg 및 Storey 방법보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Multiple testing problems arising in modern scientific applications can involve simultaneously testing thousands or even millions of hypotheses, with relatively few true signals. In this paper, we consider the multiple testing problem where prior information is available (for instance, from an earlier study under different experimental conditions), that can allow us to test the hypotheses as a ranked list in order to increase the number of discoveries. Given an ordered list of n hypotheses, the aim is to select a data-dependent cutoff k and declare the first k hypotheses to be statistically significant while bounding the false discovery rate (FDR). Generalizing several existing methods, we develop a family of "accumulation tests" to choose a cutoff k that adapts to the amount of signal at the top of the ranked list. We introduce a new method in this family, the HingeExp method, which offers higher power to detect true signals compared to existing techniques. Our theoretical results prove that these methods control a modified FDR on finite samples, and characterize the power of the methods in the family. We apply the tests to simulated data, including a high-dimensional model selection problem for linear regression. We also compare accumulation tests to existing methods for multiple testing on a real data problem of identifying differential gene expression over a dosage gradient.

연구 동기 및 목표

• 가설이 사전 믿음에 따라 순서가 매겨진 다중 검정 문제를 다루며, 이러한 구조를 활용해 발견의 검정력을 향상시키는 것.
• 데이터 기반의 기준값을 적응적으로 선택하는 일반적인 누적 검정의 가족을 개발하는 것.
• 기존 기법보다 더 높은 통계적 검정력을 확보하면서도 유한 표본에서 FDR 통제를 유지하는 새로운 방법인 HingeExp를 제안하는 것.
• 약물 복용 농도 변화에 따른 차등 유전자 발현 분석에 대한 시뮬레이션과 실제 응용을 통해 방법의 효과성을 입증하는 것.

제안 방법

• 방법은 n개의 가설이 사전 정보에 따라 신호 강도의 기대치에 따라 순서가 매겨진 리스트로 구성된다.
• 데이터 기반의 기준값 k를 선택하는 누적 검정의 가족을 도입하며, 첫 k개의 가설을 유의미하다고 선언한다.
• HingeExp 방법은 힌지 모양의 가중치 함수를 사용하여 초기 발견에 주목하면서 수정된 FDR을 통제한다.
• ForwardStop 및 SeqStep와 같은 기존 방법을 일반화하며, 유한 표본에서 FDR 통제에 대한 이론적 보장을 제공한다.
• 순위가 매겨진 리스트의 상단에 있는 신호의 양에 따라 적응적으로 조정되어, 비적응형 또는 균일 가중치 방법보다 검정력을 향상시킨다.
• 실제 데이터 분석에서는 순열 기반 p-값을 사용하며, HingeExp 및 ForwardStop에서 무한한 가중치를 방지하기 위해 미세 조정된 p-값을 적용한다.

실험 결과

연구 질문

• RQ1 유한 표본에서 FDR를 통제하면서 순서화된 가설 검정에서 적응적으로 발견 기준을 선택할 수 있는 누적 검정의 가족을 개발할 수 있는가?
• RQ2 SeqStep, ForwardStop 및 Benjamini-Hochberg와 같은 기존 순차 검정 방법과 비교해 HingeExp 방법의 검정력은 어떻게 되는가?
• RQ3 고차원 다중 검정 문제에서 사전 순서를 통합함으로써 발견의 검정력은 어느 정도 향상되는가?
• RQ4 고차원 회귀 및 유전자 발현 데이터와 같은 현실적인 데이터 조건 하에서 HingeExp 방법은 FDR 통제를 유지하는가?
• RQ5 제안된 프레임워크는 약물 복용 농도 변화에 따른 차등 유전자 발현을 식별하는 것과 같은 실제 문제에 효과적으로 적용될 수 있는가?

주요 결과

• HingeExp 방법은 다양한 목표 FDR 수준에서 SeqStep, SeqStep+, 및 ForwardStop보다 훨씬 더 많은 발견을 이룩했으며, 특히 α ≤ 0.5일 경우 두드러진 성능을 보였다.
• 목표 FDR 수준이 0.5 이하일 경우, Benjamini-Hochberg 및 Storey 절차는 몇 개의 발견만 했지만, 누적 검정은 수천 개의 발견을 이룩했다.
• SeqStep 및 SeqStep+ 방법은 성능이 거의 동일하여, 후자의 약간의 보정이 검정력 손실를 초래하지 않았음을 시사한다.
• 실제 유전자 발현 실험에서, 누적 검정은 데이터의 순서 구조를 활용하여 기존의 FDR 절차를 뚜렷이 능가했다.
• HingeExp 방법은 시뮬레이션된 고차원 선형 회귀와 실제 차등 발현 데이터 양쪽 모두에서 기존 방법보다 더 높은 검정력을 보였다.
• 이론적 결과는 누적 검정의 전체 가족에 대해 수정된 FDR의 유한 표본 통제와 표준 FDR의 점근적 통제를 확인한다.