[논문 리뷰] Fast and Powerful Conditional Randomization Testing via Distillation

Molei Liu, Eugene Katsevich외 2명|arXiv (Cornell University)|2020. 06. 06.

Statistical Methods in Clinical Trials참고 문헌 48인용 수 15

한 줄 요약

이 논문은 계산이 효율적인 방법인 정제된 조건부 랜덤화 검정(dCRT)을 제안한다. 이 방법은 기계학습을 활용해 강력한 조건부 이상성 검정을 수행하면서도 정확한 제1종 오류 통제를 유지한다. 복잡한 모델을 경량 대체 모델로 정제하고, 필터링 및 계산 재사용 기법을 활용함으로써, 전체 CRT와 거의 동일한 검정력을 확보하면서도 계산 속도를 수개의 주기만큼 빠르게 하여 대규모 데이터셋(예: 유방암 유전자 분석)에서도 실용적으로 적용할 수 있다.

ABSTRACT

We consider the problem of conditional independence testing: given a response Y and covariates (X,Z), we test the null hypothesis that Y is independent of X given Z. The conditional randomization test (CRT) was recently proposed as a way to use distributional information about X|Z to exactly (non-asymptotically) control Type-I error using any test statistic in any dimensionality without assuming anything about Y|(X,Z). This flexibility in principle allows one to derive powerful test statistics from complex prediction algorithms while maintaining statistical validity. Yet the direct use of such advanced test statistics in the CRT is prohibitively computationally expensive, especially with multiple testing, due to the CRT's requirement to recompute the test statistic many times on resampled data. We propose the distilled CRT, a novel approach to using state-of-the-art machine learning algorithms in the CRT while drastically reducing the number of times those algorithms need to be run, thereby taking advantage of their power and the CRT's statistical guarantees without suffering the usual computational expense. In addition to distillation, we propose a number of other tricks like screening and recycling computations to further speed up the CRT without sacrificing its high power and exact validity. Indeed, we show in simulations that all our proposals combined lead to a test that has similar power to the most powerful existing CRT implementations but requires orders of magnitude less computation, making it a practical tool even for large data sets. We demonstrate these benefits on a breast cancer dataset by identifying biomarkers related to cancer stage.

연구 동기 및 목표

• 복잡한 기계학습 모델을 반복적으로 실행해야 하는 조건부 랜덤화 검정(CRT)의 높은 계산 비용, 특히 다중 검정 상황에서의 문제를 해결하기 위해.
• CRT의 정확한 제1종 오류 통제와 높은 통계적 검정력을 유지하면서도 모델 재학습 횟수를 극적으로 줄이기 위해.
• 기존 CRT가 비현실적이었던 고차원 설정에서 강력한 기계학습 기반 검정 통계량을 실용적으로 적용할 수 있도록 하기 위해.
• 확장 가능한 조건부 이상성 검정을 위한 통합 프레임워크를 개발하기 위해, 모델 정제, 필터링, 계산 재사용을 통합한다.

제안 방법

• 원본 데이터에서 학습된 복잡한 기본 모델(선생)의 예측을 모방하도록 경량 대체 모델(학생)을 훈련시켜 정제된 CRT를 제안한다.
• 재표본화된 데이터에서 정제된 모델을 사용해 검정 통계량을 계산함으로써, 각 재표본화에 대해 전체 모델을 다시 훈련할 필요를 줄인다.
• 불필요한 공변량을 사전에 걸러내기 위해 필터링 기법을 적용하여 검정 수와 계산 부담을 감소시킨다.
• 유사한 데이터에 대해 동일한 모델을 반복 평가하지 않도록 재사용 가능한 중간 계산 결과를 공유한다.
• 정제된 모델 출력에 로지스틱 회귀를 적용한 계산 비용이 없는 CRT 변형을 사용해 추론 속도를 추가로 향상시킨다.
• 모든 기법을 통합된 파ip라인으로 조합하여 정확한 유효성과 높은 검정력을 유지하면서도 실행 시간을 최소화한다.

실험 결과

연구 질문

• RQ1 복잡한 모델을 재표본화된 데이터에 대해 반복 실행할 때 발생하는 계산 부담을 줄이면서도 CRT의 정확한 제1종 오류 통제를 유지할 수 있는가?
• RQ2 모델 정제 기법이 조건부 이상성 검정에서 기계학습 기반 검정 통계량의 검정력을 얼마나 잘 유지하는가?
• RQ3 필터링과 계산 재사용 기법을 추가로 적용할 경우, 유효성이나 검정력에 손상이 가지 않고 얼마나 더 빠르게 CRT를 실행할 수 있는가?
• RQ4 실제 데이터에서 기존 방법들인 oCRT, HRT, knockoffs와 비교해 정제된 CRT는 속도, 검정력, 거짓 발견률 제어 측면에서 어떻게 성능을 내는가?

주요 결과

• 정제된 CRT는 복잡한 모델을 사용하더라도 기존의 가장 강력한 CRT 구현과 비슷한 검정력을 확보한다.
• 기존 CRT에 비해 계산 시간을 수개의 주기만큼 감소시켜 대규모 데이터셋에서도 실용적으로 적용 가능하게 한다.
• 유방암 데이터셋에서 정제된 CRT는 FBXW7, GPS2, RUNX1와 같은 알려진 생물학적 마커를 FDR 제어 하에 높은 빈도로 탐지했다.
• dI CRT(dCRT에 필터링 적용)는 α=0.1일 때 상위 유전자 100%를 FDR 제어 하에 탐지했으며, 핵심 유전자 탐지 빈도에서 oCRT와 HRT를 모두 능가했다.
• 모든 시뮬레이션 및 실데이터 실험에서 정확한 제1종 오류 통제를 유지하여 통계적 엄밀함을 입증했다.
• 정제, 필터링, 계산 재사용의 조합으로 실제 적용에서 검정력 손실 없이 100배에서 1000배의 속도 향상을 달성했다.