[논문 리뷰] Phase Transition and Regularized Bootstrap in Large Scale $t$-tests with False Discovery Rate Control

Weidong Liu, Qi-Man Shao|arXiv (Cornell University)|2013. 10. 16.

Gene expression and cancer classification참고 문헌 12인용 수 9

한 줄 요약

이 논문은 정규분포 또는 t분포 근사에 기반한 p값을 사용할 때 대규모 t검정에서 가짜 발제율(FDR) 통제의 타당성을 조사한다. 정규분포나 t분포 근사가 실패하는 단계 전이가 log m ≈ c₀n¹ᐟ³에서 발생하며, 이는 뚜렷한 6차 모멘트를 가진 더 무거운 尾尾 분포에서도 FDR 통제를 유지하는 정규화된 부트스트랩 방법을 제안한다. 시뮬레이션 결과 표준 부트스트랩보다 우수한 성능을 보였다.

ABSTRACT

Applying Benjamini and Hochberg (B-H) method to multiple Student's $t$ tests is a popular technique in gene selection in microarray data analysis. Because of the non-normality of the population, the true p-values of the hypothesis tests are typically unknown. Hence, it is common to use the standard normal distribution N(0,1), Student's $t$ distribution $t_{n-1}$ or the bootstrap method to estimate the p-values. In this paper, we first study N(0,1) and $t_{n-1}$ calibrations. We prove that, when the population has the finite 4-th moment and the dimension $m$ and the sample size $n$ satisfy $\log m=o(n^{1/3})$, B-H method controls the false discovery rate (FDR) at a given level $α$ asymptotically with p-values estimated from N(0,1) or $t_{n-1}$ distribution. However, a phase transition phenomenon occurs when $\log m\geq c_{0}n^{1/3}$. In this case, the FDR of B-H method may be larger than $α$ or even tends to one. In contrast, the bootstrap calibration is accurate for $\log m=o(n^{1/2})$ as long as the underlying distribution has the sub-Gaussian tails. However, such light tailed condition can not be weakened in general. The simulation study shows that for the heavy tailed distributions, the bootstrap calibration is very conservative. In order to solve this problem, a regularized bootstrap correction is proposed and is shown to be robust to the tails of the distributions. The simulation study shows that the regularized bootstrap method performs better than the usual bootstrap method.

연구 동기 및 목표

• 대규모 다중 검정에서 표준 정규분포 또는 t분포 근사를 사용한 FDR 통제의 渐近적 행동을 분석하기 위해.
• 고차원 설정에서 단계 전이로 인해 이러한 근사가 실패하는 조건을 규명하기 위해.
• 무거운 尾尾 분포에서 FDR 통제를 유지하는 표준 부트스트랩 보다 더 강건한 대안을 개발하기 위해.
• 유한한 6차 모멘트만 요구하는 정규화된 부트스트랩 방법을 제안하고 이론적으로 정당화하기 위해. 이는 표준 부트스트랩의 과잉 보수성보다 개선된 성능을 제공한다.

제안 방법

• 대규모 t검정에서 p값에 대한 정규분포 및 t분포 근사 하에서 FDR 통제의 이론적 분석.
• 차원 m과 표본 크기 n 간의 관계에 기반한 단계 전이 임계값 유도. 특히 log m ≥ c₀n¹ᐟ³일 때.
• 부트스트랩 校正을 통해 p값 추정 정확도 향상. 특히 서브-가우시안 꼬리에서 유의미하다.
• 극단적 관측치를 잘라내어 무거운 꼬리에 대한 민감도를 감소시키는 정규화된 부트스트랩 방법 도입.
• 집중 불등식과 모멘트 경계를 적용하여 잘라낸 상태에서의 경험적 모멘트 수렴성을 증명.
• 정규화된 부트스트랩 하에서 FDR 통제의 이론적 정당화. log m = o(n¹ᐟ²)일 때 渐近적 타당성을 보여줌.

실험 결과

연구 질문

• RQ1 대규모 t검정에서 표준 정규분포 및 t분포 근사를 사용한 p값 근사가 FDR를 통제하지 못하는 조건은 무엇인가?
• RQ2 log m ≥ c₀n¹ᐟ³일 때 FDR 통제의 단계 전이의 성격과 임계값은 무엇인가?
• RQ3 부트스트랩 校정의 성능은 꼬리 행동에 어떻게 의존하는가? 그리고 더 무거운 꼬리 분포에 대해 개선 가능할까?
• RQ4 유한한 6차 모멘트만을 가진 더 무거운 꼬리 분포에서도 정규화된 부트스트랩 방법이 FDR 통제를 유지할 수 있는가?
• RQ5 유한 표본 시뮬레이션에서 더 무거운 꼬리 데이터를 가진 경우, 정규화된 부트스트랩 방법이 표준 부트스트랩보다 더 강건한가?

주요 결과

• log m = o(n¹ᐟ³)일 때, 유한한 4차 모멘트 조건 하에서 표준 정규분포 또는 t_{n-1} p값 근사를 사용한 벤자민-호크베르그 방법으로 FDR 통제가 渐近적으로 타당하다.
• log m ≥ c₀n¹ᐟ³일 때 단계 전이가 발생한다. 비영인 비대칭성 조건 하에서 FDR는 α를 초과할 수 있으며, log m/n¹ᐟ³ → ∞일 때 1에 수렴할 수 있다.
• 부트스트랩 校정은 근원 분포가 서브-가우시안 꼬리를 가진다면 log m = o(n¹ᐟ²)일 때 FDR 통제를 유지한다.
• 표준 부트스트랩은 유한한 모멘트를 가진 무거운 꼬리 분포에 대해서도 과잉 보수적이다.
• 제안된 정규화된 부트스트랩 방법은 log m = o(n¹ᐟ²) 조건 하에서 유한한 6차 모멘트만으로도 FDR 통제를 보장하며, 시뮬레이션 결과 표준 부트스트랩보다 뛰어난 성능을 보였다.
• 이론적 및 시뮬레이션 결과는 정규화된 부트스트랩이 꼬리 무게에 대해 강건하며, 무거운 꼬리 설정에서 표준 부트스트랩보다 더 정확한 FDR 통제를 제공함을 확인했다.