[논문 리뷰] FarmTest: Factor-Adjusted Robust Multiple Testing With Approximate False Discovery Control

Jianqing Fan, Yuan Ke외 2명|arXiv (Cornell University)|2017. 11. 15.

Statistical Methods in Clinical Trials참고 문헌 56인용 수 4

한 줄 요약

이 논문은 일반적인 의존성과 뚜렷한 꼬리 분포를 가진 데이터 하에서 거짓 발견 비율(FDP)을 제어하는 인자 조정형 강건한 다중 검정 절차인 FarmTest를 제안한다. 투명한 손실을 통한 강건한 추정과 잠재 인자 모델링을 통합함으로써 FarmTest는 일관된 FDP 추정과 더불어, 비정규성과 상관성이 있는 고차원 데이터에서 특히 향상된 검정력(통계적 검정 능력)을 달성한다.

ABSTRACT

Large-scale multiple testing with correlated and heavy-tailed data arises in a wide range of research areas from genomics, medical imaging to finance. Conventional methods for estimating the false discovery proportion (FDP) often ignore the effect of heavy-tailedness and the dependence structure among test statistics, and thus may lead to inefficient or even inconsistent estimation. Also, the commonly imposed joint normality assumption is arguably too stringent for many applications. To address these challenges, in this article we propose a factor-adjusted robust multiple testing (FarmTest) procedure for large-scale simultaneous inference with control of the FDP. We demonstrate that robust factor adjustments are extremely important in both controlling the FDP and improving the power. We identify general conditions under which the proposed method produces consistent estimate of the FDP. As a byproduct that is of independent interest, we establish an exponential-type deviation inequality for a robust <i>U</i>-type covariance estimator under the spectral norm. Extensive numerical experiments demonstrate the advantage of the proposed method over several state-of-the-art methods especially when the data are generated from heavy-tailed distributions. The proposed procedures are implemented in the R-package FarmTest. Supplementary materials for this article are available online.

연구 동기 및 목표

• 독립성과 복합 정규성 가정을 하는 전통적인 다중 검정 방법의 한계를 해결함으로써, 의존성과 뚜렷한 꼬리 분포 하에서 FDP 추정이 일관성이 없어지는 문제를 해결한다.
• 유전체학, 신경과학 및 금융 분야에서 흔한 고차원 검정 통계량의 잠재 인자 구조를 고려하는 방법을 개발한다.
• 약한 또는 강한 의존성과 비정규 오차 분포 하에서도 거짓 발견 비율(FDP)의 일관된 추정을 달성한다.
• 공통 인자를 조정함으로써 검정력을 향상시키면서도, 뚜렷한 꼬리 오차에 대해 강건성을 유지한다.
• 일반 조건 하에서 FDP 제어를 위한 이론적 보장을 확립하며, 강건한 U-통계량 공분산 추정기의 신뢰도가 높은 지수형 편차 부등식을 제안한다.

제안 방법

• 잠재 인자와 개별 오차를 포함한 인자 모델을 사용하여 고차원 검정 통계량을 모델링하며, 인자 구조가 일반적인 의존성을 반영한다.
• 헤버 손실 기반 추정을 적용하여 인자 하중과 공통 인자를 강건하게 추정함으로써, 뚜렷한 꼬리 오차에 대한 민감도를 감소시킨다.
• 개별 성분에 대한 강건한 U-형 공분산 추정기 사용과 함께, 스펙트럼 노름 하에서 새로운 지수형 편차 경계를 확보한다.
• 공통 인자를 추정하여 제거함으로써 검정 통계량을 조정하여 의존성을 감소시키고, 더 정확한 FDP 제어를 가능하게 한다.
• 인자 조정형 p-값 기반의 단계적 상향 절차를 통해 거짓 발견 비율(FDP)을 제어하며, 이론적 일관성 보장을 제공한다.
• 실제 응용을 위해 R 패키지 FarmTest를 구현하여 대규모 추론에의 실용적 적용을 지원한다.

실험 결과

연구 질문

• RQ1 일반적인 의존성과 뚜렷한 꼬리 오차 분포 하에서 강건한 인자 조정이 FDP 추정과 제어를 향상시킬 수 있는가?
• RQ2 데이터가 비정규성과 의존성을 띠는 조건에서 제안된 FDP 추정기의 일관성은 어떤 조건에서 성립하는가?
• RQ3 뚜렷한 꼬리 오차와 상관성이 있는 데이터 하에서 헤버 기반 추정의 강건성은 기존 방법보다 어떻게 비교되는가?
• RQ4 잠재 인자 구조는 고차원 설정에서 다중 검정 절차의 검정력과 정확성에 어떤 영향을 미치는가?
• RQ5 강건한 공분산 추정기 중 강력한 집중 성질을 갖는 것은 고차원 인자 모델에 활용 가능할 수 있는가?

주요 결과

• FarmTest는 복합 정규성 가정이 실패하더라도 일반적인 의존성과 뚜렷한 꼬리 분포 하에서 거짓 발견 비율(FDP)의 일관된 추정을 달성한다.
• 특히 자유도가 낮은 t-분포와 같은 뚜렷한 꼬리 오차 분포 하에서 최신 기술 대비 유의미하게 높은 통계적 검정력을 확보한다.
• 강건한 U-형 공분산 추정기는 스펙트럼 노름 하에서 지수형 편차 경계를 확보하여 강력한 이론적 보장을 제공한다.
• 실험 결과는 다양한 표본 크기와 오차 분포 하에서 FarmTest가 FDR 제어와 검정력 측면에서 기존 방법을 능가함을 보여준다.
• 이론적 분석은 인자 조정이 일관된 FDP 추정을 위해 필수적이며, 오차가 정규성에서 벗어날 경우 헤버 손실 기반 강건성의 중요성을 확인한다.
• R 패키지 FarmTest는 유전체학, 신경과학 및 금융 분야에서의 재현 가능한 대규모 추론을 지원하는 실용적 구현을 가능하게 한다.