[논문 리뷰] A Power Analysis of the Conditional Randomization Test and Knockoffs

Wenshuo Wang, Lucas Janson|arXiv (Cornell University)|2020. 10. 05.

Statistical Methods in Clinical Trials참고 문헌 35인용 수 9

한 줄 요약

이 논문은 고차원 선형 모델에서 $ p/n \to \kappa > 0 $ 조건 하에 조건부 랜덤화 검정(CRT)과 모델-X 노크오프스의 점근적 검정력에 대한 엄밀한 분석을 제공하며, 다양한 검정 통계량(마진별 공분산, OLS, 라소)에 대해 명시적인 검정력 표현을 유도한다. 이는 i.i.d. 가우시안 예측변수 하에서, p-값에 대해 벤자민-호크베르그 또는 AdaPT를 적용한 CRT가 노크오프스를 능가하는 검정력을 보이며, 비라벨 데이터와 후행 샘플링으로부터 이론적 검정력 향상을 규명한다.

ABSTRACT

In many scientific problems, researchers try to relate a response variable $Y$ to a set of potential explanatory variables $X = (X_1,\dots,X_p)$, and start by trying to identify variables that contribute to this relationship. In statistical terms, this goal can be posed as trying to identify $X_j$'s upon which $Y$ is conditionally dependent. Sometimes it is of value to simultaneously test for each $j$, which is more commonly known as variable selection. The conditional randomization test (CRT) and model-X knockoffs are two recently proposed methods that respectively perform conditional independence testing and variable selection by, for each $X_j$, computing any test statistic on the data and assessing that test statistic's significance by comparing it to test statistics computed on synthetic variables generated using knowledge of $X$'s distribution. Our main contribution is to analyze their power in a high-dimensional linear model where the ratio of the dimension $p$ and the sample size $n$ converge to a positive constant. We give explicit expressions of the asymptotic power of the CRT, variable selection with CRT $p$-values, and model-X knockoffs, each with a test statistic based on either the marginal covariance, the least squares coefficient, or the lasso. One useful application of our analysis is the direct theoretical comparison of the asymptotic powers of variable selection with CRT $p$-values and model-X knockoffs; in the instances with independent covariates that we consider, the CRT provably dominates knockoffs. We also analyze the power gain from using unlabeled data in the CRT when limited knowledge of $X$'s distribution is available, and the power of the CRT when samples are collected retrospectively.

연구 동기 및 목표

• 고차원 설정에서 $ p/n \to \kappa > 0 $ 인 조건 하에서 조건부 랜덤화 검정(CRT)과 모델-X 노크오프스의 점근적 검정력을 이론적으로 분석하는 것.
• 동일한 검정 통계량 하에서 CRT 기반 변수 선택(Benjamini-Hochberg 및 AdaPT 적용)과 모델-X 노크오프스의 검정력 간 비교.
• 예측변수 $ X $의 분포에 대한 부분적 지식만 존재할 때 비라벨 데이터를 CRT에 통합함으로써 얻는 검정력 향상의 이론적 규모를 정량화하는 것.
• 후행 샘플링으로 확장된 분석을 수행하여, $ Y $의 마진별 2차 모멘트에 대한 함수로서 효과적 신호 강도를 유도하는 것.
• 유한 표본 시뮬레이션을 통해 이론적 결과를 검증하여 오라클 방법과의 밀도 높은 일치를 보이는 것.

제안 방법

• 다변수 가우시안 예측변수와 $ \Sigma = I $ 조건 하에서, 마진별 공분산, OLS 계수, 라소 통계량을 사용한 CRT와 노크오프스의 점근적 검정력 표현을 유도한다.
• 고차원 극한에서 검정 통계량의 점근적 행동을 기술하기 위해 근사 메시지 전달(AMP) 프레임워크를 적용한다.
• CDF-변환된 노크오프스 통계량을 사용하여, 노크오프스와 AdaPT를 CRT p-값에 적용한 결과가 점근적으로 동일함을 보여준다.
• 알려진 모멘트를 가진 시뮬레이티드 $ X $-변수를 모델링하여 비라벨 데이터를 통합함으로써 검정력 향상의 상한을 도출한다.
• 후행 샘플링으로 확장하기 위해, 샘플링 메커니즘 하에서 $ \mathbb{E}[Y^2] $ 에 대한 함수로서 효과적 신호 강도를 모델링한다.
• 무작위 행렬 이론과 스텐의 보조정리를 활용하여, 신호 강도 및 검정 통계량 분포에 대한 고정점 방정식을 도출한다.

실험 결과

연구 질문

• RQ1 고차원 선형 모델에서 마진별 공분산, OLS 또는 라소를 검정 통계량으로 사용할 경우, CRT의 점근적 검정력은 무엇인가?
• RQ2 i.i.d. 가우시안 예측변수 하에서 동일한 검정 통계량과 조건 하에서, CRT 기반 변수 선택(BH 또는 AdaPT 적용)의 검정력은 모델-X 노크오프스의 검정력보다 어떻게 비교되는가?
• RQ3 예측변수 $ X $의 분포에 대한 부분적 지식만 존재할 때, 비라벨 데이터를 CRT에 활용함으로써 얻는 검정력 향상의 이론적 수치는 무엇인가?
• RQ4 후행 샘플링은 CRT의 효과적 신호 강도와 검정력에 어떻게 영향을 미치는가?
• RQ5 CRT와 노크오프스에 대해 도출된 점근적 검정력 표현은 유한 표본에서 정확하게 검증될 수 있는가?

주요 결과

• i.i.d. 가우시안 예측변수($ \Sigma = I $) 조건 하에서, 마진별 공분산, OLS 또는 라소 통계량에서 유도된 p-값에 대해 벤자민-호크베르그 또는 AdaPT를 적용한 CRT는 점근적으로 명목 수준에서 FDR를 제어한다.
• $ \Sigma = I $ 조건 하에서, 어떤 검정 통계량이든 마진별 공분산, OLS 또는 라소를 사용할 경우, p-값에 AdaPT를 적용한 CRT는 점근적 검정력 측면에서 모델-X 노크오프스를 반드시 능가한다.
• 마진별 공분산 통계량을 사용한 CRT의 점근적 검정력은 비라벨 샘플 수가 증가함에 따라 증가하며, 유한한 비라벨 데이터 하에서 이 향상의 상한이 유도된다.
• 후행 샘플링된 데이터의 경우, CRT의 효과적 신호 강도는 $ Y $의 마진별 2차 모멘트에 대한 함수로 명시적으로 기술되며, 이는 검정력 정량화를 가능하게 한다.
• AMP 프레임워크를 통해 도출된 이론적 검정력 표현은 유한 표본 시뮬레이션과 강력한 일치를 보이며, 이는 CRT와 노크오프스가 오라클 방법에 가까운 검정력을 달성할 수 있음을 시사한다.
• 노크오프스는 점근적으로 CDF-변환된 노크오프스 통계량에 AdaPT를 적용한 것과 동일하며, 이는 CRT 기반 절차와의 직접 비교를 가능하게 한다.