[論文レビュー] A Power Analysis of the Conditional Randomization Test and Knockoffs

Wenshuo Wang, Lucas Janson|arXiv (Cornell University)|Oct 5, 2020

Statistical Methods in Clinical Trials参考文献 35被引用数 9

ひとこと要約

本稿は、$ p/n \to \kappa > 0 $ である高次元線形モデルにおいて、条件付きランダム化検定（CRT）とモデル-Xノックオフスの漸近的パワー解析を厳密に行い、マージナルコピュレーション、OLS、lassoなどのさまざまな検定統計量におけるパワーの明示的表現を導出する。独立同一分布のガウス共変数のもとで、Benjamini-Hochberg や AdaPT を用いた $ p $-値による CRT がノックオフスを上回るパワーを示し、ラベルなしデータと後向き抽出からの理論的利点を確立する。

ABSTRACT

In many scientific problems, researchers try to relate a response variable $Y$ to a set of potential explanatory variables $X = (X_1,\dots,X_p)$, and start by trying to identify variables that contribute to this relationship. In statistical terms, this goal can be posed as trying to identify $X_j$'s upon which $Y$ is conditionally dependent. Sometimes it is of value to simultaneously test for each $j$, which is more commonly known as variable selection. The conditional randomization test (CRT) and model-X knockoffs are two recently proposed methods that respectively perform conditional independence testing and variable selection by, for each $X_j$, computing any test statistic on the data and assessing that test statistic's significance by comparing it to test statistics computed on synthetic variables generated using knowledge of $X$'s distribution. Our main contribution is to analyze their power in a high-dimensional linear model where the ratio of the dimension $p$ and the sample size $n$ converge to a positive constant. We give explicit expressions of the asymptotic power of the CRT, variable selection with CRT $p$-values, and model-X knockoffs, each with a test statistic based on either the marginal covariance, the least squares coefficient, or the lasso. One useful application of our analysis is the direct theoretical comparison of the asymptotic powers of variable selection with CRT $p$-values and model-X knockoffs; in the instances with independent covariates that we consider, the CRT provably dominates knockoffs. We also analyze the power gain from using unlabeled data in the CRT when limited knowledge of $X$'s distribution is available, and the power of the CRT when samples are collected retrospectively.

研究の動機と目的

• 高次元設定（$ p/n \to \kappa > 0 $）における条件付きランダム化検定（CRT）とモデル-Xノックオフスの漸近的パワーを理論的に分析すること。
• 同じ検定統計量を用いた場合に、Benjamini-Hochberg や AdaPT を用いたCRTベースの変数選択とモデル-Xノックオフスのパワーを比較すること。
• 共変数 $ X $ の分布に関する部分的な知識しか得られない状況で、ラベルなしデータをCRTに組み込むことによるパワー向上の理論的評価。
• 後向き抽出データへの拡張を行い、$ Y $ の周辺2次モーメントの関数としての有効な信号強度を導出すること。
• 有限標本シミュレーションを用いて理論的結果の妥当性を検証し、オракル手法と類似したパワーを達成することを示すこと。

提案手法

• 多変量ガウス共変数（$ \Sigma = I $）のもとで、マージナルコピュレーション、OLS係数、lassoの3つの検定統計量を用いたCRTおよびノックオフスの漸近的パワー表現を導出する。
• 近似メッセージパッシング（AMP）フレームワークを用いて、高次元極限における検定統計量の漸近的挙動を特徴付ける。
• CDF変換を施したノックオフス統計量を用いて、ノックオフスとAdaPTをCRTの $ p $-値に適用した結果が漸近的に同等であることを示す。
• 既知のモーメントを持つ合成 $ X $-変数を用いてラベルなしデータを統合し、パワー向上の上限を導出する。
• 有効信号強度を $ \mathbb{E}[Y^2] $ の関数としてモデル化することで、後向き抽出データへの結果の拡張を行う。
• ランダム行列理論およびSteinの補題を用いた理論的道具により、信号強度および検定統計量の分布に対する固定点方程式を導出する。

実験結果

リサーチクエスチョン

• RQ1 高次元線形モデルにおいて、マージナルコピュレーション、OLS、またはlassoを検定統計量として用いたCRTの漸近的パワーは何か？
• RQ2 独立同一分布のガウス共変数のもとで、同じ検定統計量を用いた場合に、Benjamini-Hochberg や AdaPT を用いたCRTベースの変数選択のパワーは、モデル-Xノックオフスのパワーと比べてどうなるか？
• RQ3 共変数 $ X $ の分布に関する部分的な知識しか得られない状況で、ラベルなしデータをCRTに組み込むことによるパワー向上の理論的評価は何か？
• RQ4 後向き抽出がCRTの有効信号強度およびパワーに与える影響は何か？
• RQ5 CRTおよびノックオフスのための漸近的パワー表現は、有限標本においても正確に妥当化できるか？

主な発見

• 独立同一分布のガウス共変数（$ \Sigma = I $）のもとで、マージナルコピュレーション、OLS、lassoの統計量から得られる $ p $-値にBenjamini-Hochberg や AdaPT を適用したCRTは、漸近的に名目水準でFDRを制御する。
• 共変数共分散行列 $ \Sigma = I $ のもとで、任意の3つの検定統計量の $ p $-値にAdaPTを適用したCRTは、漸近的パワーの観点でモデル-Xノックオフスを明確に上回る。
• マージナルコピュレーション統計量を用いたCRTの漸近的パワーは、ラベルなしサンプル数の増加に伴い上昇し、有限のラベルなしデータのもとでのこの向上の上限が導出されている。
• 後向き抽出データでは、CRTにおける有効信号強度が $ Y $ の周辺2次モーメントの関数として明示的に特徴付けられており、パワーの定量的評価が可能になる。
• AMPフレームワークを用いて導出した理論的パワー表現は、有限標本シミュレーションと強く一致しており、CRTおよびノックオフスがオラクル手法に近いパワーを達成できることを示唆している。
• ノックオフスは、CDF変換を施したノックオフス統計量にAdaPTを適用した結果と漸近的に同等であることが示され、CRTベースの手法との直接比較が可能になる。