[논문 리뷰] A leave-p-out based estimation of the proportion of null hypotheses

Alain Célisse, Stéphane Robin|ArXiv.org|2008. 04. 08.

Statistical Methods in Clinical Trials참고 문헌 27인용 수 3

한 줄 요약

이 논문은 다중 검정에서 진정한 귀무가설의 비율($ olimits_0$)을 히스토그램 기반 추정기로 추정하기 위한 떠나간 p개의 관측치를 고려한 교차검증 방법을 제안한다. 이는 강력한 식별성 가정을 완화한다. 이 방법은 FDR 제어 절차의 검정력을 향상시키며, 특히 $ olimits_0$가 작을 경우 시뮬레이션에서 벤자민-호크비에그 절차를 능가하는 플러그인 다중 검정 절차를 가능하게 하며, 점 渐진적으로 FDR를 제어한다.

ABSTRACT

In the multiple testing context, a challenging problem is the estimation of the proportion $π_0$ of true-null hypotheses. A large number of estimators of this quantity rely on identifiability assumptions that either appear to be violated on real data, or may be at least relaxed. Under independence, we propose an estimator $\hatπ_0$ based on density estimation using both histograms and cross-validation. Due to the strong connection between the false discovery rate (FDR) and $π_0$, many multiple testing procedures (MTP) designed to control the FDR may be improved by introducing an estimator of $π_0$. We provide an example of such an improvement (plug-in MTP) based on the procedure of Benjamini and Hochberg. Asymptotic optimality results may be derived for both $\hatπ_0$ and the resulting plug-in procedure. The latter ensures the desired asymptotic control of the FDR, while it is more powerful than the BH-procedure. Finally, we compare our estimator of $π_0$ with other widespread estimators in a wide range of simulations. We obtain better results than other tested methods in terms of mean square error (MSE) of the proposed estimator. Finally, both asymptotic optimality results and the interest in tightly estimating $π_0$ are confirmed (empirically) by results obtained with the plug-in MTP.

연구 동기 및 목표

• 기존 추정기들이 강력한, 종종 위반되는 식별성 가정에 의존하는 다중 검정 상황에서, 진정한 귀무가설의 비율인 $\\pi_0$를 추정하는 데 도전하는 것.
• p-값이 1 근처에서 인위적으로 부풀려지는 경우(실제 데이터에서 관찰됨)에도 안정적으로 작동하는 유연하고 완전히 적응형인 $\\pi_0$ 추정기 개발.
• 정확한 $\\pi_0$ 추정치를 플러그인하여 FDR 제어 절차의 검정력을 향상시키고, 同시에 점 渐진적으로 FDR 제어를 보장하는 것.
• 비모수적이고 계산 효율적인 접근법을 제공하여, 비정규 히스토그램과 떠나간 p개의 관측치 교차검증을 사용함으로써 사용자 지정 조정 파rameter를 피하는 것.

제안 방법

• 비정규 히스토그램을 사용하여 p-값의 밀도를 추정함으로써, 복잡한 p-값 분포(예: U자형 밀도 포함)를 모델링하는 데 있어 유연성을 확보함.
• 최적의 히스토그램 분할을 선택하기 위해 떠나간 p개의 관측치 교차검증(LPO)을 사용함으로써, 사용자 정의 파rameter 없이 데이터 기반의 적응형 폭 선택이 가능해짐.
• 식별성 가정을 완화한 조건 하에, 근처 1 근처의 히스토그램 밀도 추정치를 기반으로 귀무가설 하의 p-값 비율로 추정된 $\\widehat{\\pi}_0$를 도출함.
• 벤자민-호크비 절차의 알려지지 않은 $\\pi_0$를 $\\widehat{\\pi}_0$로 대체함으로써 플러그인 다중 검정 절차(플러그인 MTP)를 구성함. 이는 검정력을 향상시키면서도 FDR 제어를 유지함.
• 독립성과 약한 정규성 조건 하에, $\\widehat{\\pi}_0$의 점 渐진적 일致성과 플러그인 MTP의 점 渐진적 FDR 제어를 수립함.
• 모수적 모델이나 고정된 조정 파rameter에 의존하지 않아, 1 근처에서 균일성 가정 위반에 대해 강건함.

실험 결과

연구 질문

• RQ1 p-값이 1 근처에서 인위적으로 부풀려지면 표준 식별성 가정을 위반하는 상황에서도 유효한 비모수적이고 데이터 기반의 $\\pi_0$ 추정기 개발이 가능한가?
• RQ2 고정된 파rameter 방법에 비해, $\\pi_0$ 추정의 맥락에서 떠나간 p개의 관측치 교차검증이 히스토그램 기반 밀도 추정에 있어 더 나은 적응형 방법을 제공하는가?
• RQ3 추정된 $\\pi_0$를 사용하는 플러그인 다중 검정 절차가 벤자민-호크비 절차보다 더 높은 검정력을 확보하면서도 점 渐진적으로 FDR를 제어할 수 있는가?
• RQ4 다양한 시뮬레이션 상황에서 평균 제곱오차(MSE) 측면에서 제안된 $\\pi_0$ 추정기의 성능은 기존 방법과 비교해 어떻게 되는가?
• RQ5 떠나간 p개의 관측치 교차검증에서 $p > 1$을 선택할 경우의 영향은 무엇이며, 표준 떠나간 하나의 관측치(LOO) 방법에 비해 추정 정확도가 향상되는가?

주요 결과

• 제안된 $\\pi_0$ 추정기는 다양한 시뮬레이션 상황에서 다른 널리 사용되는 추정기들보다 더 낮은 평균 제곱오차(MSE)를 기록하여, 더 우수한 편향-분산 트레이드오프를 보임.
• 플러그인 다중 검정 절차는 유한 표본에서도 점 渐진적으로 FDR 제어를 유지한다는 것이 경험적으로 입증됨.
• 플러그인 MTP는 $\\pi_0$가 작을 경우 특히 더 높은 검정력을 보이며, 이는 귀무가설 비율을 더 정확하게 추정하기 때문임.
• LPO($p > 1$)는 떠나간 하나의 관측치(LOO)보다 더 뛰어난 성능을 보이며, 정확히 $\\pi_0$를 알고 있는 오라클 절차에 거의 근접한 성능을 보임.
• 많은 기존 방법이 실패하는 'U자형' p-값 분포의 경우에도 추정기는 강건하게 유지되며, 이는 식별성 가정을 완화했기 때문임.
• 기존의 슈베더와 스피오트볼 추정기와 달리, 사용자 지정 파rameter가 필요 없는 완전한 적응형 방법임.