[论文解读] Model Selection for High-Dimensional Regression under the Generalized Irrepresentability Condition

Adel Javanmard, Andrea Montanari|arXiv (Cornell University)|Dec 5, 2013

Statistical Methods and Inference参考文献 24被引用 1

一句话总结

本文提出了高斯-套索选择器（Gauss-Lasso selector），一种两阶段方法，结合套索法进行初始变量选择，随后在所选变量集上进行受限最小二乘法。在广义不可表示性条件（GIC）下，该方法可证明地恢复高维回归中的真实活跃集，显著放宽了经典不可表示性条件对正交性的严格要求。

ABSTRACT

In the high-dimensional regression model a response variable is linearly related to p covariates, but the sample size n is smaller than p. We assume that only a small subset of covariates is 'active' (i.e., the corresponding coefficients are non-zero), and consider the model-selection problem of identifying the active covariates. A popular approach is to estimate the regression coefficients through the Lasso (l1-regularized least squares). This is known to correctly identify the active set only if the irrelevant covariates are roughly orthogonal to the relevant ones, as quantified through the so called 'irrepresentability' condition. In this paper we study the 'Gauss-Lasso' selector, a simple two-stage method that first solves the Lasso, and then performs ordinary least squares restricted to the Lasso active set. We formulate 'generalized irrepresentability condition' (GIC), an assumption that is substantially weaker than irrepresentability. We prove that, under GIC, the Gauss-Lasso correctly recovers the active set.

研究动机与目标

• 为解决当不可表示性条件不成立时，套索法在高维回归中的局限性。
• 提出一种两阶段方法，通过在套索法选出的变量上应用受限最小二乘法，改进活跃集的恢复效果。
• 定义并分析一种更弱的条件——广义不可表示性条件（GIC），以确保一致的模型选择。
• 在GIC下建立高斯-套索选择器的理论保证，将有效模型选择的适用范围扩展至超越经典套索法假设的领域。

提出的方法

• 高斯-套索选择器首先应用套索法估计初始系数并识别活跃集。
• 随后在套索法选出的协变量上执行普通最小二乘法（受限于这些协变量）。
• 该方法依赖于一个新条件——广义不可表示性条件（GIC），其放宽了经典不可表示性要求。
• GIC以一种允许相关协变量之间存在非零但有界的依赖关系的方式，量化了相关与无关协变量之间的相关性。
• 理论分析采用高维渐近框架，推导出高斯-套索法可恢复真实活跃集的条件。
• 该方法计算高效，利用了套索法的稀疏性诱导特性，并在所选模型上进行无偏估计。

实验结果

研究问题

• RQ1 在弱于经典不可表示性条件的假设下，高斯-套索选择器能否一致地恢复真实活跃集？
• RQ2 广义不可表示性条件（GIC）与标准不可表示性条件在实际可行性与理论强度方面如何比较？
• RQ3 在高维设定下，两阶段高斯-套索法相较于标准套索法性能提升的理论依据是什么？
• RQ4 在何种条件下，高斯-套索法在活跃集恢复方面优于套索法？
• RQ5 当经典不可表示性条件不成立时，高斯-套索法是否仍能保持一致性？

主要发现

• 在广义不可表示性条件（GIC）下，高斯-套索选择器可正确恢复真实活跃集，且该条件严格弱于经典不可表示性条件。
• GIC允许相关协变量与无关协变量之间存在非零相关性，只要其以特定方式受约束。
• 两阶段过程通过减少套索法在变量选择后估计系数的偏差，提升了模型选择的一致性。
• 当套索法因违反经典不可表示性条件而失效时，该方法仍能实现活跃集恢复。
• 理论结果表明，高斯-套索法在高维渐近框架下保持一致性，其中 n < p 但真实模型是稀疏的。