[논문 리뷰] Distribution-free Multiple Testing

Ery Arias-Castro, Shiyun Chen|arXiv (Cornell University)|2016. 04. 26.

Statistical Methods in Clinical Trials참고 문헌 19인용 수 6

한 줄 요약

이 논문은 대칭적 영가설 분포를 가진 위치 모형에서 벤자민리-하코버그(Benjamini-Hochberg, BH) 절차와 Foygel-Barber 및 Candès의 분포 자유 방법의 渐近 최적성(Asymptotic optimality)을 확립한다. 두 방법 모두 정규 분포 및 일반화된 가우시안 모형에서 영가설의 분포가 알려져 있지 않더라도, 대칭성과 꼬리 감쇠 성질만을 이용하여 최적의 FDR(거짓 발견률)와 FNR(거짓 비발견률) 간의 트레이드오프를 달성함을 증명한다.

ABSTRACT

We study a stylized multiple testing problem where the test statistics are independent and assumed to have the same distribution under their respective null hypotheses. We first show that, in the normal means model where the test statistics are normal Z-scores, the well-known method of (Benjamini and Hochberg, 1995) is optimal in some asymptotic sense. We then show that this is also the case of a recent distribution-free method proposed by Foygel-Barber and Candès (2015). The method is distribution-free in the sense that it is agnostic to the null distribution - it only requires that the null distribution be symmetric. We extend these optimality results to other location models with a base distribution having fast-decaying tails.

연구 동기 및 목표

• 모르는 영가설 분포가 아닌, 알려진 영가설 분포를 가진 정규 평균 모형에서 벤자민리-하코버(Benjamini-Hochberg, BH) 절차의 渐近 최적성 확립.
• 영가설 분포의 대칭성만을 가정하는 분포 자유 다중 검정 방법으로 최적성 결과를 확장.
• 꼬리 감쇠 속도가 빠른 분포를 가진 위치 모형에서 Foygel-Barber 및 Candès(2015)의 분포 자유 방법의 성능 분석.
• BH 절차와 분포 자유 방법이 거짓 발견률 및 거짓 비발견률 측면에서 동일한 1차 차수의 渐近 성능을 달성함을 보여줌.
• 특히 대칭성과 꼬리 감쇠 성질을 포함한 최소한의 분포 가정 하에서 다중 검정 이론적 이해 통합.

제안 방법

• 영가설 분포가 0을 중심으로 대칭인 독립적 검정 통계량을 가진 간단한 다중 검정 프레임워크 사용.
• 위험도를 FDR(거짓 발견률)과 FNR(거짓 비발견률)의 합으로 정의하고, 이를 최소화하는 최대위험 기준(minimax risk criterion)으로 간주.
• 실험적 생존함수로부터 유도된 데이터 기반 임계값을 사용하는 임계값 기반 절차 적용.
• 꼬리 감쇠 속도가 매개변수 γ로 특징지어지는 일반화된 가우시안 모형에서 渐近 분석 수행하여 정규성 이외의 일반화 가능.
• 실험적 분포함수의 추정 오차를 통제하기 위해 경험과정 이론과 농도 부등식(concentration inequalities) 활용.
• BH와의 비교를 통해 대칭성과 꼬리 감쇠 조건 하에서 두 방법이 동일한 渐近 임계값과 오차율을 달성함을 보여줌.

실험 결과

연구 질문

• RQ1 영가설 분포가 알려진 정규 평균 모형에서 벤자민리-하코버 절차가 渐近적으로 최적일 수 있는가?
• RQ2 영가설 분포의 대칭성만을 가정하는 분포 자유 다중 검정 방법이 BH와 동일한 渐近 성능을 달성할 수 있는가?
• RQ3 중심 꼬리 또는 일반화된 가우시안 영가설 분포를 가진 모형에서 Foygel-Barber 및 Candès(2015)의 분포 자유 방법의 성능 척도는 어떻게 되는가?
• RQ4 정규성 이외의 최소한의 가정 하에서 거짓 발견률 및 거짓 비발견률의 渐近 행동은 어떠한가?
• RQ5 동일한 임계값 전략이 영가설 분포가 알려진 경우와 알려지지 않은 경우 모두에서 최적의 위험도(FDR + FNR)를 달성할 수 있는가?

주요 결과

• 벤자민리-하코버 절차는 정규 평균 모형에서 n → ∞ 일 때 최소 가능한 위험도(FDR + FNR)를 달성하여 1차 차수의 渐近 최적성을 확보한다.
• 영가설 분포의 대칭성만을 요구하는 Foygel-Barber 및 Candès(2015)의 분포 자유 방법은 정규 모형에서 BH와 동일한 渐近 성능을 달성한다.
• 꼬리 감쇠 속도 매개변수 γ > 1인 일반화된 가우시안 모형에서, 적절한 신호 강도 및 희박성 조건 하에 BH와 분포 자유 방법 모두 FDR 및 FNR이 0으로 수렴함.
• 분포 자유 방법에서 사용하는 임계값 τ는 확률적으로 1에 수렴하여 τ ≤ t*를 만족하며, 여기서 t*는 Ψ(t*) ∼ n^{-r*} (r* ∈ (β, r)) 를 만족하도록 선택됨으로써 충분한 영가설과의 분리 확보.
• 분포 자유 방법의 거짓 비발견률은 확률적으로 0으로 수렴하여, BH와 동일한 조건 하에서 진정한 신호 탐지 능력이 높음을 시사함.
• 결과는 대칭성과 빠른 꼬리 감쇠 성질이라는 최소한의 가정 하에서 성립하며, 이는 영가설 분포의 잘못된 특정화에 대해 강건함을 의미함.