[논문 리뷰] Covariate powered cross-weighted multiple testing with false discovery rate control

Nikolaos Ignatiadis, Wolfgang Huber|arXiv (Cornell University)|2017. 01. 18.

Statistical Methods in Clinical Trials인용 수 8

한 줄 요약

이 논문은 공변량을 사용하여 데이터 기반 가중치를 설정하고 벤자민-호크베르크 스타일의 FDR 제어 절차에 통합함으로써 대규모 가설 검정에서 통계적 검정력을 향상시키는 Covariate Powered Cross-Weighted Multiple Testing를 소개한다. 과도한 피팅을 방지하기 위해 교차 가중치를 활용함으로써, 이 방법은 유한 표본에서의 FDR 제어와 함께, 공변량에 의해 포착된 이질성 존재 시에 특히 높은 검정력을 달성한다.

ABSTRACT

Consider a large-scale multiple testing setup where we observe pairs $((P_i, X_i))_{1\leq i \leq m}$ of p-values $P_i$ and covariates $X_i$, such that $P_i \perp X_i$ under the null hypothesis. Our goal is to use the information potentially available in the covariates about heterogeneities among hypotheses to increase power compared to conventional procedures that only use the $P_i$, while still controlling the false discovery rate (FDR). To this end, we recently introduced independent hypothesis weighting (IHW), a weighted variant of the Benjamini-Hochberg method, in which the weights are chosen in a data-driven manner as a function of the covariate $X_i$. We showed empirically that IHW leads to a large power increase, while asymptotically controlling the FDR. In this paper, we provide a rigorous statistical framework for understanding IHW: its asymptotic characteristics are viewed through the lens of the conditional two-groups model, while favorable finite-sample properties are achieved by cross-weighting, a novel data-splitting approach that enables learning the weight-covariate function without overfitting. We provide results on finite sample behavior of IHW and of IHW-Bonferroni, its adaptation to the family-wise error rate (FWER). These results are valid as long as the hypotheses can be partitioned into independent folds, with arbitrary within-fold dependence. Furthermore, under full independence, we prove finite sample FDR control for IHWc, a slightly modified variant of IHW. A key implication of IHW is that hypothesis rejection in heterogeneous multiple testing setups should not proceed according to the ranking implied by the p-values; the covariate-weighted p-values instead provide a more informative ranking.

연구 동기 및 목표

• 기존의 다중 검정 절차가 공변량 정보를 忽시함으로써 이질적인 환경에서 최적의 검정력에 도달하지 못하는 한계를 해결하기 위해.
• 공변량을 활용하여 FDR을 증가시키지 않으면서 대규모 다중 검정에서 통계적 검정력을 향상시키는 방법을 개발하기 위해.
• 유한 표본에서 가설 간의 임의의 내부 종속성 존재하에서도 FDR 제어를 보장하기 위해.
• 조건부 이중군 모델과 교차 가중치를 활용한 독립 가설 가중치(IHW)에 대한 엄밀한 통계적 프레임워크를 제공하기 위해.
• IHW-Bonferroni를 통해 가족적 오류율을 제어할 수 있도록 방법을 확장하면서도 종속성 하에서도 타당성을 유지하기 위해.

제안 방법

• 이 방법은 공변량 $X_i$ 로부터 유도된 데이터 기반 가중치를 사용하여 p-값 $P_i$ 를 재가중함으로써, 기존의 p-값 순서보다 더 높은 검정력을 확보하는 공변량 가중 p-값 순서를 생성한다.
• 교차 가중치는 데이터를 폴드로 나누어 과도한 피팅을 방지하면서 가중치-공변량 함수를 학습함으로써, 유한 표본에서의 FDR 제어를 보장한다.
• 이 접근법은 근거로 하는 조건부 이중군 모델에 기반하며, 귀무가설과 대립가설 하에서 공변량 조건부 p-값 분포를 모델링한다.
• IHWc는 IHW의 수정된 변형으로, 완전한 독립성 하에서 유한 표본에서 정확한 FDR 제어를 보임이 증명되었다.
• 이 방법은 가설 간의 임의의 내부 종속성에도 강인하므로, 복잡한 종속성 구조에 대해서도 적용 가능하다.
• IHW-Bonferroni는 IHW와 본페로니 보정을 조합하여 가족적 오류율을 제어할 수 있도록 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 공변량 정보를 활용하여 FDR 제어를 유지하면서 다중 검정에서 통계적 검정력을 향상시킬 수 있는가?
• RQ2 유한 표본에서 과도한 피팅 없이 공변량에서 유도된 데이터 기반 가중치를 어떻게 학습할 수 있는가?
• RQ3 가설들이 폴드 내에서 종속성이 존재할 경우, 가중 다중 검정 절차의 유한 표본 성질은 어떠한가?
• RQ4 공변량 가중 p-값은 p-값 순서만으로는 제공할 수 없는 더 강력하고 정보적인 순서를 제공하는가?
• RQ5 이 프레임워크는 검정력 향상을 유지하면서 가족적 오류율을 제어할 수 있도록 확장될 수 있는가?

주요 결과

• 제안된 IHW 방법은 공변량 정보를 활용함으로써 기존의 p-값 중심 절차에 비해 통계적 검정력을 크게 향상시킨다.
• 교차 가중치를 통해 가중치-공변량 함수의 신뢰성 있는 학습이 가능해져, 임의의 내부 종속성 존재하에서도 유한 표본에서의 FDR 제어를 보장한다.
• 완전한 독립성 하에서 IHWc는 정확한 유한 표본 FDR 제어를 달성하며, 강력한 이론적 보장을 제공한다.
• 이 방법은 진정한 신호 탐지 능력 향상으로 인해, 단순한 p-값 순서보다 공변량 가중 p-값 기반의 가설 기각이 바람직하다는 것을 보여준다.
• IHW-Bonferroni는 검정력 향상 효과를 유지하면서도 가족적 오류율을 제어할 수 있도록 프레임워크를 성공적으로 확장하였다.
• 이 프레임워크는 폴드 내 종속성에 강인하여 다양한 실제 다중 검정 시나리오에 적용 가능하다.