[논문 리뷰] FARM-Test: Factor-Adjusted Robust Multiple Testing with False Discovery Control

Jianqing Fan, Yuan Ke외 2명|arXiv (Cornell University)|2017. 11. 15.

Statistical Methods in Clinical Trials참고 문헌 50인용 수 3

한 줄 요약

이 논문은 일반적인 의존성과 뚜렷한 꼬리 분포를 가진 상황에서도 거짓 발현 비율(FDP)을 제어하는 인자 조정형 강건 다중 검정 절차인 FARM-Test를 제안한다. 강건한 U-통계량 기반 공분산 추정과 요인 모델링을 통합함으로써 일관된 FDP 추정과 더불어, 정규분포가 아니며 의존성이 있는 데이터 설정에서 향상된 검정력(통계적 검정 능력)을 달성한다.

ABSTRACT

Large-scale multiple testing with correlated and heavy-tailed data arises in a wide range of research areas from genomics, medical imaging to finance. Conventional methods for estimating the false discovery proportion (FDP) often ignore the effect of heavy-tailedness and the dependence structure among test statistics, and thus may lead to inefficient or even inconsistent estimation. Also, the assumption of joint normality is often imposed, which is too stringent for many applications. To address these challenges, in this paper we propose a factor-adjusted robust procedure for large-scale simultaneous inference with control of the false discovery proportion. We demonstrate that robust factor adjustments are extremely important in both improving the power of the tests and controlling FDP. We identify general conditions under which the proposed method produces consistent estimate of the FDP. As a byproduct that is of independent interest, we establish an exponential-type deviation inequality for a robust $U$-type covariance estimator under the spectral norm. Extensive numerical experiments demonstrate the advantage of the proposed method over several state-of-the-art methods especially when the data are generated from heavy-tailed distributions. Our proposed procedures are implemented in the {\sf R}-package {\sf FarmTest}.

연구 동기 및 목표

• 기존 다중 검정 방법이 연합 정규성 가정을 하고 있으며 의존성과 무거운 꼬리 성질을 忽시한다는 한계를 해결한다.
• 검정 통계량이 의존적이며 중량 꼬리 분포를 띠는 경우에도 정확한 거짓 발현 비율(FDP) 제어를 유지할 수 있는 방법을 개발한다.
• 잠재적 요인을 조정하고 공분산 추정을 강건하게 함으로써 대규모 추론에서 통계적 검정력을 향상시킨다.
• 정규성 이외의 일반 조건 하에서 FDP 추정의 이론적 일관성을 확립한다.
• 유전체학, 금융, 의료 영상 분야에서의 실용적 응용을 위한 구현 가능한 R 패키지(FarmTest)를 제공한다.

제안 방법

• 중량 꼬리 분포를 다루기 위해 강건한 U-형 공분산 추정기를 사용하며, 스펙트럼 노름에 대해 새로운 지수형 편차 부등식을 도출한다.
• 공통 요인을 제거하여 검정 통계량 간의 일반적인 의존성 구조를 설명하기 위해 요인 모델을 적용한다.
• 강건한 공분산 행렬에 대한 주성분 분석을 통해 잠재 요인의 영향을 추정하고 제거함으로써 검정 통계량을 조정한다.
• 약한 의존성과 중량 꼬리 분포 하에서도 일관된 거짓 발현 비율(FDP) 추정기를 사용한다.
• 요인 조정과 강건 추론을 조합하여 검정력은 향상시키면서도 FDP 제어를 유지한다.
• 데이터가 정규성에서 벗어나도 FDP 추정기가 여전히 일관되게 유지될 수 있는 이론적 조건을 도출한다.

실험 결과

연구 질문

• RQ1 데이터가 의존적이며 중량 꼬리 분포를 띠는 고차원 다중 검정 상황에서 거짓 발현 비율(FDP)을 어떻게 일관되게 추정할 수 있는가?
• RQ2 비정규성과 의존성이 있는 데이터에서 요인 조정이 다중 검정 절차의 검정력과 정확도를 어느 정도 향상시키는가?
• RQ3 강건한 공분산 추정기는 정규성 가정 없이도 중량 꼬리 분포 하에서 신뢰할 수 있는 추론을 제공할 수 있는가?
• RQ4 요인 조정된 강건 절차가 일관된 FDP 추정을 위해 필요한 이론적 조건은 무엇인가?
• RQ5 제안된 방법은 중량 꼬리와 의존성이 있는 설정에서 최신 기술 대비 실증적으로 어떻게 비교되는가?

주요 결과

• 제안된 FARM-Test 방법은 정규성 가정이 실패하더라도 일반적인 의존성과 중량 꼬리 분포 하에서 거짓 발현 비율(FDP)의 일관된 추정을 달성한다.
• 강건한 요인 조정은 기존 방법에 비해 특히 중량 꼬리 설정에서 통계적 검정력을 크게 향상시킨다.
• 강건한 U-형 공분산 추정기의 스펙트럼 노름에 대해 지수형 편차 부등식이 확립되었으며, 이는 유한 표본 이론적 보장을 가능하게 한다.
• 광범위한 수치 실험에서 제안된 방법은 최신 기술 대비 뛰어난 성능을 보이며, 특히 데이터가 중량 꼬리와 의존성을 보일 경우에 유의미하게 승리한다.
• FARM-Test 절차는 { t FarmTest} R 패키지로 구현되어 유전체학, 의료 영상, 금융 데이터 분석 등 실제 적용에 유용하다.