[论文解读] Confidence Intervals and Hypothesis Testing for High-Dimensional Regression

Adel Javanmard, Andrea Montanari|arXiv (Cornell University)|Jun 13, 2013

Gene expression and cancer classification参考文献 48被引用 689

一句话总结

本文提出了一种去偏 LASSO 方法，用于在高维线性回归中构建渐近有效的置信区间和 p 值，即使在 $ p > n $ 的情况下也适用。通过使用去偏程序校正正则化 M-估计量中的偏差，该方法在设计矩阵假设最少的条件下，实现了近乎最优的置信区间宽度和检验功效，从而在高维设置下实现了经典推断。

ABSTRACT

Fitting high-dimensional statistical models often requires the use of non-linear parameter estimation procedures. As a consequence, it is generally impossible to obtain an exact characterization of the probability distribution of the parameter estimates. This in turn implies that it is extremely challenging to quantify the \emph{uncertainty} associated with a certain parameter estimate. Concretely, no commonly accepted procedure exists for computing classical measures of uncertainty and statistical significance as confidence intervals or $p$-values for these models. We consider here high-dimensional linear regression problem, and propose an efficient algorithm for constructing confidence intervals and $p$-values. The resulting confidence intervals have nearly optimal size. When testing for the null hypothesis that a certain parameter is vanishing, our method has nearly optimal power. Our approach is based on constructing a `de-biased' version of regularized M-estimators. The new construction improves over recent work in the field in that it does not assume a special structure on the design matrix. We test our method on synthetic data and a high-throughput genomic data set about riboflavin production rate.

研究动机与目标

• 解决高维回归模型中缺乏经典推断工具（如置信区间和 p 值）的问题，尤其是在 $ p > n $ 的情况下。
• 克服非线性、有偏估计量（如 LASSO）导致无法精确刻画分布的根本挑战。
• 开发一种计算高效的算法，提供有效的频率学推断，且无需对设计矩阵施加特殊结构。
• 在标准高维一致性条件下，实现近乎最优的置信区间尺寸与检验功效。
• 在最小假设下实现高维设置下的统计推断，扩展了以往方法对 $ \mathbf{X} $ 的结构约束要求。

提出的方法

• 通过使用 LASSO 优化问题的对偶解，校正 LASSO 估计量 $ \widehat{\theta}^n $，构造去偏估计量 $ \widehat{\theta}^u $。
• 使用样本 Gram 矩阵 $ \widehat{\Sigma} = \mathbf{X}^T\mathbf{X}/n $ 的逆，构建一个能反映设计矩阵相关结构的精度矩阵。
• 将去偏估计量定义为 $ \widehat{\theta}^u = \widehat{\theta}^n + \frac{1}{n} \mathbf{X}^T (Y - \mathbf{X} \widehat{\theta}^n) $，其中校正项用于消除 $ \ell_1 $ 惩罚带来的偏差。
• 使用 $ \widehat{\sigma}^2 [M \widehat{\Sigma} M^T]_{ii} $ 估计去偏估计量的方差，其中 $ M $ 是由对偶解导出的矩阵。
• 基于 $ \sqrt{n} (\widehat{\theta}^u_i - \theta_{0,i}) $ 的渐近正态性，利用标准正态分布的分位数，为单个系数构建置信区间。
• 通过基于去偏估计量的 z 统计量进行假设检验，并通过 Bonferroni 校正控制家庭错误率（FWER）。

实验结果

研究问题

• RQ1 在 $ p > n $ 的高维回归模型中，尽管正则化估计量具有非线性特性，是否仍可构建有效的置信区间和 p 值？
• RQ2 所提出的去偏 LASSO 方法是否在设计矩阵假设最少的条件下，实现近乎最优的置信区间宽度与检验功效？
• RQ3 该方法是否无需对设计矩阵 $ \mathbf{X} $ 施加特殊结构假设（如不相干性或不可表示性）即可应用？
• RQ4 在有限样本中，特别是在预测变量之间存在高相关性与噪声的情况下，该方法表现如何？
• RQ5 在多重检验场景下，家庭错误率（FWER）是否能在名义水平上得到控制？

主要发现

• 去偏 LASSO 估计量 $ \widehat{\theta}^u $ 渐近服从均值为 $ \theta_0 $、方差为 $ \sigma^2 (M \widehat{\Sigma} M^T)_{ii}/n $ 的正态分布，从而支持有效推断。
• 该方法实现了近乎最优的置信区间尺寸，其宽度与 $ \sigma \sqrt{\log p / n} $ 成正比，与高维设置下的极小极大率一致。
• 所提出检验 $ \widehat{T}^F $ 的家庭错误率（FWER）在 $ n \to \infty $ 时收敛至名义水平 $ \alpha $，即使在弱假设下也成立。
• 该方法在渐近意义上控制 FWER 于水平 $ \alpha $，其上界为 $ \limsup_{n \to \infty} \text{FWER}(\widehat{T}^F, n) \leq 2(1 - \Phi(z_\alpha(\varepsilon) - \varepsilon)) $，当 $ \varepsilon \to 0 $ 时趋近于 $ \alpha $。
• 噪声水平 $ \sigma $ 的估计量 $ \widehat{\sigma} $ 是一致的：在标准高维条件下，有 $ |\widehat{\sigma}/\sigma - 1| \to 0 $ 在概率意义下成立。
• 该方法在合成数据和来自 [BKM14] 的真实核黄素生产数据集上均得到验证，展示了其在高维设置下的实际效用与鲁棒性。