[论文解读] Comparisons of penalized least squares methods by simulations

Ke Zhang, Fan Yin+1 more|arXiv (Cornell University)|May 8, 2014

Statistical Methods and Inference参考文献 27被引用 4

一句话总结

本文通过蒙特卡洛模拟比较了惩罚最小二乘法——lasso、非负garrote、SCAD、MCP、弹性网络和自适应lasso——在 $ n > p $ 的高维线性模型中的表现。评估了变量选择和估计精度，发现自适应lasso、SCAD和MCP在高维设置下具有低误差和高选择精度，而lasso和弹性网络在低相关性和高维性条件下表现较差。

ABSTRACT

Penalized least squares methods are commonly used for simultaneous estimation and variable selection in high-dimensional linear models. In this paper we compare several prevailing methods including the lasso, nonnegative garrote, and SCAD in this area through Monte Carlo simulations. Criterion for evaluating these methods in terms of variable selection and estimation are presented. This paper focuses on the traditional n > p cases. For larger p, our results are still helpful to practitioners after the dimensionality is reduced by a screening method. K

研究动机与目标

• 评估并比较主要惩罚最小二乘法在高维线性模型 $ n > p $ 中的表现。
• 评估不同相关结构和噪声水平下的变量选择准确性和估计误差（MSE）。
• 考察样本量、噪声方差和维度对方法性能的影响。
• 基于模拟结果，为实践者提供方法选择的实用指导。
• 研究方法在高维设置下的计算效率和可扩展性。

提出的方法

• 模拟高维线性模型 $ n > p $，使用标准化协变量和中心化响应变量，以确保普通最小二乘法（OLS）和岭回归估计器的有效性。
• 采用蒙特卡洛模拟，通过变化相关性（$ \rho $）、噪声方差（$ \sigma $）、样本量（$ n $）和维度（$ p $）来评估方法性能。
• 使用均方误差（MSE）和预测误差（ME）作为估计精度的主要指标，使用两种误分类率（IC1 和 IC2）作为变量选择的指标。
• 对岭回归和非负garrote使用广义交叉验证（GCV）选择调参，对NG和自适应lasso使用BIC/AIC准则。
• 使用标准R和MATLAB函数实现所有方法：`lm` 用于OLS，`quadprog` 用于非负garrote，`glmnet` 用于lasso和弹性网络。
• 使用 $ n = 1000 $，$ p = 100 $，$ \rho = 0.5 $ 测量计算时间，时间测量基于Intel Core i3-380。

实验结果

研究问题

• RQ1 在不同相关结构下，lasso、SCAD、MCP、自适应lasso和非负garrote在变量选择准确性（IC1 和 IC2）方面表现如何？
• RQ2 噪声水平（$ \sigma $）和样本量（$ n $）对各方法的估计误差（MSE）和预测误差（ME）有何影响？
• RQ3 在近稀疏模型中，当某些真实系数接近零但不为零时，各方法表现如何？
• RQ4 各方法的计算成本如何，特别是在 $ p > 100 $ 的高维设置下？
• RQ5 在足够大的样本量和低噪声条件下，哪种方法能实现Oracle性质（正确选择变量且MSE较低）？

主要发现

• 当样本量较大且噪声较低时，自适应lasso在变量选择准确性方面表现最佳（IC2最低），展现出Oracle性质。
• 在高维设置下（$ p = 300 $），SCAD和MCP优于其他方法，表现出稳定且低的估计误差（MSE）和高的选择准确性。
• 当相关性（$ \rho $）较低时，lasso和弹性网络的预测误差（ME）更高，且变量选择性能更差，尤其在小样本（$ n = 40 $）条件下。
• 非负garrote（NG）方法，特别是NG(BIC)和NG-ridge(BIC)，优于NG(AIC)，在高噪声下表现稳健，但随着 $ p $ 增大，其选择准确性显著下降。
• 弹性网络提供了保守的折中方案，减少了假阳性（IC1），但增加了假阴性（IC2），尤其在 $ \rho $ 较低时。
• 计算时间最长的是自适应lasso，因其采用迭代加权法；而lasso和弹性网络在高维下显著更快。