[논문 리뷰] To how many simultaneous hypothesis tests can normal, Student's t or bootstrap calibration be applied?

Jianqing Fan, P. Hall외 1명|ArXiv.org|2006. 12. 29.

Statistical Methods in Clinical Trials참고 문헌 18인용 수 11

한 줄 요약

이 논문은 정규분포, 스튜던트의 t, 또는 부트스트랩 방법을 사용할 때 동시에 수행할 수 있는 가설 검정의 수에 대한 이론적 한계를 설정한다. 정규분포 또는 t 분포 보정을 사용할 경우 log N는 n^{1/3}보다 느리게 증가해야 하며, 부트스트랩 보정을 사용할 경우 log N는 거의 n^{1/2}만큼 빠르게 증가할 수 있어, 마이크로어레이 분석과 같은 고차원 설정에서 상당한 이점이 있다.

ABSTRACT

In the analysis of microarray data, and in some other contemporary statistical problems, it is not uncommon to apply hypothesis tests in a highly simultaneous way. The number, $ν$ say, of tests used can be much larger than the sample sizes, $n$, to which the tests are applied, yet we wish to calibrate the tests so that the overall level of the simultaneous test is accurate. Often the sampling distribution is quite different for each test, so there may not be an opportunity for combining data across samples. In this setting, how large can $ν$ be, as a function of $n$, before level accuracy becomes poor? In the present paper we answer this question in cases where the statistic under test is of Student's $t$ type. We show that if either Normal or Student's $t$ distribution is used for calibration then the level of the simultaneous test is accurate provided $\logν$ increases at a strictly slower rate than $n^{1/3}$ as $n$ diverges. On the other hand, if bootstrap methods are used for calibration then we may choose $\logν$ almost as large as $n\half$ and still achieve asymptotic level accuracy. The implications of these results are explored both theoretically and numerically.

연구 동기 및 목표

• N ≫ n일 때 정확하게 보정할 수 있는 동시에 수행할 수 있는 가설 검정의 최대 수 N을 결정하는 것.
• 고차원 설정 하에서 정규분포, 스튜던트의 t, 부트스트랩 보정 방법의 점점 줄어드는 수준 정확도를 평가하는 것.
• 가족-wise 오류율 또는 위임 오류율 제어를 유지하기 위해 log N를 n의 함수로 하는 이론적 경계를 설정하는 것.
• N 증가에 따른 각 보정 방법의 확장성 측면에서 상대적인 성능을 비교하는 것.

제안 방법

• 저자들은 정규분포, t분포, 부트스트랩 근사에 대한 검정 통계량의 꼬리 행동을 분석하기 위해 에지워스 전개 및 대도수 전개를 사용한다.
• 표본 중심모멘트를 활용하여 왜도 및 중첨도 항을 포함한 t통계량 및 그 부트스트랩 대응항의 점근적 전개를 유도한다.
• 표본 모멘트와 모멘트 간의 편차를 제어하기 위해 버르슈타인 부등식과 경험과정의 균일 수렴성을 활용한다.
• 다양한 보정 체계 하에서 검정 통계량의 분位수 추정 오차를 분석하여 이론적 경계를 도출한다.
• 동시 추론을 위한 임계값의 정확도에 초점을 맞추어 표본 분포의 중심 및 꼬리 행동을 고려한다.
• 증명은 부트스트랩 보정이 log N가 o(n^{1/2})로 증가할 때 정확성을 유지함을 보여주며, 정규분포/t 보정은 log N = o(n^{1/3})여야 함을 밝힌다.

실험 결과

연구 질문

• RQ1 N ≫ n일 때 정규분포, t분포, 또는 부트스트랩 보정을 사용해 수용 가능한 수준 정확도로 보정할 수 있는 동시에 수행할 수 있는 가설 검정의 최대 수 N은 무엇인가?
• RQ2 보정 방법의 선택—정규분포, t분포, 또는 부트스트랩—이 고차원 설정에서 동시에 추론의 확장성에 어떻게 영향을 미치는가?
• RQ3 왜도, 무거운 尾 또는 기타 분포 조건에서 정규분포 또는 t분포 보정이 큰 N에 대해 여전히 유효한 조건은 무엇인가?
• RQ4 log N가 거의 n^{1/2}만큼 증가할 때 부트스트랩 보정이 점점 줄어드는 수준 정확도를 유지할 수 있는가?
• RQ5 P-값 추정의 필요 정확도는 N 증가에 따라 어떻게 변화하며, 이는 위임 오류율 제어에 어떤 영향을 미치는가?

주요 결과

• 정규분포 또는 스튜던트의 t 보정을 사용할 경우, 심지어 왜도나 무거운 꼬리 분포가 존재하더라도 점점 줄어드는 수준 정확도를 유지하기 위해 log N = o(n^{1/3})여야 한다.
• 부트스트랩 보정을 사용할 경우 log N = o(n^{1/2})이면 점점 줄어드는 수준 정확도를 유지할 수 있어, 정규분포/t 보정보다 제약 조건이 훨씬 느슨하다.
• 부트스트랩 보정의 향상은 표본 분포의 왜도 및 고차원 모멘트를 더 잘 포착할 수 있다는 능력에서 비롯된다.
• 이 결과는 최소한의 모멘트 조건 하에서도 성립한다: 정규분포/t 보정에는 제3모멘트의 유계성만으로 충분하며, 부트스트랩 보정에는 더 강한 모멘트 제약 조건이 필요하다.
• 이론적 경계는 수치적 탐색을 통해 지지되며, 부트스트랩 보정이 N가 n^{1/2}에 가까이 증가할 때조차도 정확성을 유지함을 보여준다.
• 이러한 발견은 유전체학 및 유사 분야의 대규모 다중 검정에서 부트스트랩 방법이 점점 줄어드는 근사보다 훨씬 더 적합하다는 것을 시사한다.