[论文解读] Asymptotic Properties of Lasso+mLS and Lasso+Ridge in Sparse High-dimensional Linear Regression

Hanzhong Liu, Bin Yu|arXiv (Cornell University)|Jun 24, 2013

Statistical Methods and Inference参考文献 37被引用 6

一句话总结

该论文在高维稀疏线性模型中建立了Lasso+mLS和Lasso+Ridge估计量的渐近无偏性、正态性及Oracle性质。论文提出了一种参数化残差自展程序以实现有效的推断，并证明了这两种方法在均方误差上均达到了最优的$s/n$收敛速度，且偏差以指数速度快速衰减。

ABSTRACT

We study the asymptotic properties of Lasso+mLS and Lasso+Ridge under the sparse high-dimensional linear regression model: Lasso selecting predictors and then modified Least Squares (mLS) or Ridge estimating their coefficients. First, we propose a valid inference procedure for parameter estimation based on parametric residual bootstrap after Lasso+mLS and Lasso+Ridge. Second, we derive the asymptotic unbiasedness of Lasso+mLS and Lasso+Ridge. More specifically, we show that their biases decay at an exponential rate and they can achieve the oracle convergence rate of $s/n$ (where $s$ is the number of nonzero regression coefficients and $n$ is the sample size) for mean squared error (MSE). Third, we show that Lasso+mLS and Lasso+Ridge are asymptotically normal. They have an oracle property in the sense that they can select the true predictors with probability converging to 1 and the estimates of nonzero parameters have the same asymptotic normal distribution that they would have if the zero parameters were known in advance. In fact, our analysis is not limited to adopting Lasso in the selection stage, but is applicable to any other model selection criteria with exponentially decay rates of the probability of selecting wrong models.

研究动机与目标

• 在高维稀疏线性模型中建立Lasso+mLS与Lasso+Ridge估计量的渐近无偏性与正态性。
• 在Lasso-based选择后，提出一种基于参数化残差自展的可靠推断程序。
• 证明两种方法在均方误差上均达到Oracle收敛速度$s/n$。
• 证明估计量具有Oracle性质：一致的模型选择与在已知真实模型情况下的渐近正态估计。
• 将分析扩展至Lasso以外的任意模型选择准则，前提是其模型选择误差率呈指数衰减。

提出的方法

• 提出一种参数化残差自展程序，以近似Lasso+mLS与Lasso+Ridge估计量的抽样分布。
• 在高维设定下分析渐近行为，其中$p$与$s$随$n$增长，$s$为非零系数的数量。
• 利用不可表示性条件（Irrepresentable Condition）与受限特征值型假设，以确保模型选择的一致性。
• 应用浓度不等式与基于度量的界（如$d^2$）来控制残差经验分布与真实分布之间的差异。
• 在弱正则性条件下，利用$\ell_2$与$\ell_1$范数推导估计误差的收敛速率。
• 通过验证在模型选择后的高维环境下中心极限定理条件成立，建立渐近正态性。

实验结果

研究问题

• RQ1 Lasso+mLS与Lasso+Ridge能否在高维稀疏线性模型中实现渐近无偏性？
• RQ2 这两种两阶段估计量能否在均方误差上达到$s/n$的Oracle收敛速度？
• RQ3 Lasso+mLS与Lasso+Ridge是否渐近正态，且其极限分布与已知真实模型时相同？
• RQ4 残差自展程序能否为这些两阶段估计量提供有效的推断？
• RQ5 若其他模型选择方法的错误模型选择概率呈指数衰减，该分析是否可推广至Lasso以外的方法？

主要发现

• Lasso+mLS与Lasso+Ridge是渐近无偏的，偏差随样本量增加以指数速度衰减。
• 两种方法在均方误差上均达到最优的$s/n$收敛速度，与Oracle速率一致。
• 估计量渐近正态，其极限分布与已知$\beta^*$真实支撑时相同。
• 所提出的参数化残差自展程序在正则条件下为两阶段估计量提供了有效的推断。
• Oracle性质成立：正确选择模型的概率收敛于1，且非零系数的估计量渐近正态。
• 理论框架不仅适用于Lasso，也适用于任意模型选择准则，只要其模型选择误差率呈指数衰减。