[논문 리뷰] Estimating the number and effect sizes of non-null hypotheses

Jennifer Brennan, Ramya Korlakai Vinayak외 1명|arXiv (Cornell University)|2020. 02. 17.

Statistical Methods in Clinical Trials참고 문헌 36인용 수 4

한 줄 요약

이 논문은 최소한의 프리리서치 실험을 통해 다중 가설 검정 환경에서 비귀무가설의 수와 효과 크기의 계산적으로 효율적이고 보수적인 추정기를 제안한다. 경험적 분포함수 주변의 $\varepsilon$-구역을 활용하고 임계값 $\gamma$ 이상의 질량을 최소화함으로써, 높은 확률로 발견 수를 보수적으로 추정할 수 있으며, 전체 실험에 비해 샘플 수를 크게 줄일 수 있는 최적의 실험 설계를 가능하게 한다.

ABSTRACT

We study the problem of estimating the distribution of effect sizes (the mean of the test statistic under the alternate hypothesis) in a multiple testing setting. Knowing this distribution allows us to calculate the power (type II error) of any experimental design. We show that it is possible to estimate this distribution using an inexpensive pilot experiment, which takes significantly fewer samples than would be required by an experiment that identified the discoveries. Our estimator can be used to guarantee the number of discoveries that will be made using a given experimental design in a future experiment. We prove that this simple and computationally efficient estimator enjoys a number of favorable theoretical properties, and demonstrate its effectiveness on data from a gene knockout experiment on influenza inhibition in Drosophila.

연구 동기 및 목표

• 효과 크기가 알려지지 않은 상황에서 통계적 검정력이 보장되는 실험 설계의 과제를 해결하기 위해.
• 작은 비용이 드는 프리리서치 연구를 통해 다중 가설에 걸쳐 효과 크기의 분포를 추정하기 위해.
• 주어진 효과 크기 임계값 이상의 발견 수를 항상 과대평가하지 않는 보수적인 추정기를 제공하기 위해.
• 이론적 보장을 바탕으로 비용(복제 수)과 발견 수확 간의 실험 설계 트레이드오프를 가능하게 하기 위해.
• 실제 응용 분야(예: 유전자 노크아웃 연구)에서 실용적으로 사용 가능한 계산적으로 효율적이고 통계적으로 안정된 방법을 개발하기 위해.

제안 방법

• 검정 통계량의 경험적 누적분포함수 주변에 $\ell_\infty$-구역을 설정하여 가능한 분포 집합을 정의한다.
• 주어진 임계값 $\gamma$ 이상의 확률 질량을 최소화하는 분포를 찾음으로써 보수적인 추정을 보장한다.
• 단위 구간에 대한 이진 탐색을 통해 하한 추정치 $\widehat{\zeta}_n(\gamma)$를 계산하며, 각 단계에서 질량 임계값을 검증하기 위해 가설 검정을 수행한다.
• 제약 조건이 있는 최소화 문제를 효율적으로 해결하기 위해 볼록 최적화(CVXPY 및 ECOS를 활용)를 기반으로 한다.
• 추정기가 $\widehat{\zeta}_n(\gamma) \leq \zeta_{\nu_*}(\gamma)$를 높은 확률로 만족하도록 설계되어, 발견 수의 과대평가를 방지한다.
• 정규, 포isson, 이항 분포 검정 통계량에 적용되었으며, 실제 도라시필라 인플루엔자 유전자 노크아웃 데이터로 검증되었다.

실험 결과

연구 질문

• RQ1 전체 발견을 위해 필요한 것보다 훨씬 적은 샘플 수로, 효과 크기가 임계값 $\gamma$ 이상인 비귀무가설의 수를 추정할 수 있는가?
• RQ2 계산적으로 효율적이면서도 발견 수를 항상 과대평가하지 않는 보수적인 추정기를 어떻게 설계할 수 있는가?
• RQ3 유한 표본에서 추정기의 정확성에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 보수성과 정확성 측면에서, 추정기는 플러그인 및 기타 기준 방법과 비교해 어떻게 성능을 보이는가?
• RQ5 비용(복제 수)과 발견 수확 간의 균형을 고려해 실험 설계를 이끌 수 있는가?

주요 결과

• 제안된 추정기는 유한 표본에서 임계값 $\gamma$ 이상의 가설 비율에 대해 상한 및 하한 추정치를 제공하여 통계적 신뢰성을 보장한다.
• 추정기는 엄밀히 보수적이다: 표본 크기가 증가함에 따라 $\mathbb{P}(\widehat{\zeta}_n(\gamma) > \zeta_{\nu_*}(\gamma)) \to 0$이 되며, 발견 수의 과대평가를 보장한다.
• 표본 크기 $n$이 증가함에 따라 추정기는 기준 추정기보다 더 높은 정확도를 보이며, 기준 추정기는 더 많은 데이터를 받아도 성능 향상이 없다.
• 표본 수 $n=100,000$인 시뮬레이션에서, 낮은 신호 대 잡음 비율 조건에서도 진짜 $\zeta_*$를 과대평가 없이 잘 따라간다.
• 이론적 분석을 통해 정확도 $\varepsilon$를 범위 $A_\varepsilon$에서 확보하기 위해서는 최소 $n \gtrsim 1/(\varepsilon^2 \gamma_*^4)$개의 표본이 필요하며, 표본 복잡도에 하한을 설정한다.
• 이 방법은 도라시필라 유전자 노크아웃 실험의 실제 데이터에 성공적으로 적용되어 실험 설계에서의 실용적 유용성을 입증했다.