[论文解读] Some Two-Step Procedures for Variable Selection in High-Dimensional Linear Regression

Jian Zhang, X. Jessie Jeng+1 more|ArXiv.org|Oct 9, 2008

Statistical Methods and Inference参考文献 26被引用 8

一句话总结

本文提出了一种高维线性回归的两步变量选择方法，该方法在无需满足不可表征条件（irrepresentable condition）的情况下，同时实现了估计一致性和变量选择一致性。通过先使用初始估计器（如岭回归或Lasso），再结合非负Garrote、自适应Lasso或硬阈值化处理，该方法即使在预测变量数量随样本量呈指数增长时，也能确保Oracle性质。

ABSTRACT

We study the problem of high-dimensional variable selection via some two-step procedures. First we show that given some good initial estimator which is $\ell_{\infty}$-consistent but not necessarily variable selection consistent, we can apply the nonnegative Garrote, adaptive Lasso or hard-thresholding procedure to obtain a final estimator that is both estimation and variable selection consistent. Unlike the Lasso, our results do not require the irrepresentable condition which could fail easily even for moderate $p_n$ (Zhao and Yu, 2007) and it also allows $p_n$ to grow almost as fast as $\exp(n)$ (for hard-thresholding there is no restriction on $p_n$). We also study the conditions under which the Ridge regression can be used as an initial estimator. We show that under a relaxed identifiable condition, the Ridge estimator is $\ell_{\infty}$-consistent. Such a condition is usually satisfied when $p_n\le n$ and does not require the partial orthogonality between relevant and irrelevant covariates which is needed for the univariate regression in (Huang et al., 2008). Our numerical studies show that when using the Lasso or Ridge as initial estimator, the two-step procedures have a higher sparsity recovery rate than the Lasso or adaptive Lasso with univariate regression used in (Huang et al., 2008).

研究动机与目标

• 开发一种两步变量选择方法，以在高维线性模型中同时实现估计一致性和变量选择一致性。
• 消除对不可表征条件的依赖，该条件在高维设置下常不成立。
• 建立岭回归作为有效初始估计器并具备ℓ∞-一致性条件的理论基础。
• 在有限样本中，证明两步方法相比Lasso和自适应Lasso具有更优的稀疏恢复率。
• 将理论保证扩展至预测变量数量pn几乎以指数速度随样本量n增长的情形。

提出的方法

• 采用两步框架：首先获得一个ℓ∞-一致的初始估计器（如岭回归或Lasso）。
• 在初始估计器上应用后惩罚方法——非负Garrote、自适应Lasso或硬阈值化，以实现变量选择一致性。
• 通过加权ℓ1-惩罚实现自适应Lasso，其中权重由初始估计器导出。
• 建立最终估计器同时具备估计一致性和选择一致性的理论条件。
• 利用浓度不等式和高斯尾部界控制感兴趣事件上估计误差的ℓ∞-范数。
• 推导出调参和设计矩阵结构的充分条件，以确保最终估计器以概率收敛至真实稀疏模型。

实验结果

研究问题

• RQ1 两步方法是否能在不依赖设计矩阵不可表征条件的前提下实现变量选择一致性？
• RQ2 在高维设置下，岭估计器在何种条件下具备ℓ∞-一致性？
• RQ3 在有限样本中，两步方法的稀疏恢复性能与Lasso和自适应Lasso相比如何？
• RQ4 两步方法在保持一致性时，允许pn的最大增长速率是多少？
• RQ5 当初始估计器仅具备ℓ∞-一致性时，最终估计器是否仍能实现Oracle性质？

主要发现

• 使用非负Garrote、自适应Lasso或硬阈值化的两步方法，当初始估计器为ℓ∞-一致时，可同时实现估计一致性和变量选择一致性。
• 该方法无需依赖不可表征条件，而该条件在中等规模pn时也常被违反。
• 对于硬阈值化，对pn的增长速率无限制，允许pn几乎以exp(n)的速度增长。
• 在满足松弛的可识别性条件（当pn ≤ n时成立）且不要求相关与无关协变量之间部分正交时，岭回归具备ℓ∞-一致性。
• 数值实验表明，与以单变量回归为初始步骤的Lasso和自适应Lasso相比，两步方法具有更高的稀疏恢复率。
• 当νn = (d²q log pn / (n sn))^{1/3}时，在适当调参下，岭估计器满足∥β̂Ridge − β∗∥∞ = Op((√(sn log pn)/ndq)^{1/3})。