[论文解读] Covariate Assisted Variable Ranking

Zheng Tracy Ke, Fan Yang|arXiv (Cornell University)|May 29, 2017

Sparse and Compressive Sensing Techniques参考文献 37被引用 3

一句话总结

该论文提出因子调整协变量辅助排序（FA-CAR），一种用于高维线性模型中稀有且微弱信号的两步变量排序方法。它首先通过主成分分析（PCA）去除主导因子（FA步骤），然后基于局部协变量结构对变量进行排序（CAR步骤），在实现改进的ROC性能的同时，为确保筛选提供了理论收敛速率，并以一种新颖的PCA扰动界作为关键技术贡献。

ABSTRACT

Consider a linear model $y = X β+ z$, $z \sim N(0, σ^2 I_n)$. The Gram matrix $Θ= \frac{1}{n} X'X$ is non-sparse, but it is approximately the sum of two components, a low-rank matrix and a sparse matrix, where neither component is known to us. We are interested in the Rare/Weak signal setting where all but a small fraction of the entries of $β$ are nonzero, and the nonzero entries are relatively small individually. The goal is to rank the variables in a way so as to maximize the area under the ROC curve. We propose Factor-adjusted Covariate Assisted Ranking (FA-CAR) as a two-step approach to variable ranking. In the FA-step, we use PCA to reduce the linear model to a new one where the Gram matrix is approximately sparse. In the CAR-step, we rank variables by exploiting the local covariate structures. FA-CAR is easy to use and computationally fast, and it is effective in resolving signal cancellation, a challenge we face in regression models. FA-CAR is related to the recent idea of Covariate Assisted Screening and Estimation (CASE), but two methods are for different goals and are thus very different. We compare the ROC curve of FA-CAR with some other ranking ideas on numerical experiments, and show that FA-CAR has several advantages. Using a Rare/Weak signal model, we derive the convergence rate of the minimum sure-screening model size of FA-CAR. Our theoretical analysis contains several new ingredients, especially a new perturbation bound for PCA.

研究动机与目标

• 解决在稀有且微弱信号设置下边际排序方法的局限性。
• 缓解由预测变量之间高相关性引起的‘信号抵消’问题。
• 开发一种快速、无需调参且计算高效的变量排序方法，适用于基因组学等类似应用。
• 在稀有/微弱信号模型下，建立最小确保筛选模型规模的理论收敛速率。
• 引入一种新的PCA扰动界，作为高维推断中基础性的技术工具。

提出的方法

• FA-CAR方法采用两阶段策略：首先，利用PCA估计并去除设计矩阵中的主导因子，使格拉姆矩阵近似为稀疏形式。
• 在FA步骤中，因子调整后重述线性模型，降低格拉姆矩阵中高秩分量的影响。
• 在CAR步骤中，基于局部协变量结构对变量进行排序，利用残差相关性以缓解信号抵消。
• 推导出一种新颖的PCA扰动界，这对于在近似因子模型下控制因子估计误差至关重要。
• 采用阈值化方案定义稀疏邻域结构，实现基于条件独立性的局部排序。
• 理论分析基于残差协方差矩阵 $ G_0 $ 的稀疏性与衰减性假设，且通过 $ \ell_\infty $-范数约束对信号强度进行建模。

实验结果

研究问题

• RQ1 在信号稀有且微弱、且预测变量高度相关的高维线性模型中，如何改进变量排序？
• RQ2 与边际排序相比，FA-CAR方法在多大程度上减少了信号抵消？
• RQ3 在稀有/微弱信号模型下，FA-CAR的最小确保筛选模型规模的理论收敛速率是多少？
• RQ4 在ROC分析中，FA-CAR的性能与现有排序方法相比如何，特别是在AUC方面？
• RQ5 为支持FA-CAR的理论分析，需要哪些新的技术工具，尤其是PCA扰动理论方面的创新？

主要发现

• 在数值实验中，FA-CAR在高相关性和弱信号设置下，相比边际排序和其他现有方法，表现出更优的ROC性能。
• 在稀有/微弱信号模型下，FA-CAR的最小确保筛选模型规模实现了 $ O(\log^{-1}(p)) $ 的收敛速率，表明其具有强大的理论一致性。
• 所提出的PCA扰动界具有新颖性，且对控制因子估计误差至关重要，尤其在因子数量相对于样本量较小时更为关键。
• 通过CAR步骤中利用局部协变量结构，显著减少了信号抵消，从而提升了真正相关信息变量的排序质量。
• 该方法计算高效，且无需调参，使其在大规模基因组学和高维筛选应用中具有实际可行性。
• 理论分析证实，即使单个信号微弱且数量稀疏，FA-CAR仍能保持高统计功效以识别真实信号。