[论文解读] A Differentiable Alternative to the Lasso Penalty

Hamed Haselimashhadi, Veronica Vinciotti|arXiv (Cornell University)|Sep 16, 2016

Statistical Methods and Inference参考文献 21被引用 4

一句话总结

本文提出 dlasso，一种可微分的套索惩罚替代方法，在保持稀疏性的同时实现平滑优化。通过使用误差函数近似绝对值，dlasso 在零点实现二阶可微——这对非线性模型中的高效计算和精确的自由度估计至关重要——同时在模拟和真实数据中表现出与套索和弹性网络相当的性能。

ABSTRACT

Regularized regression has become very popular nowadays, particularly on high-dimensional problems where the addition of a penalty term to the log-likelihood allows inference where traditional methods fail. A number of penalties have been proposed in the literature, such as lasso, SCAD, ridge and elastic net to name a few. Despite their advantages and remarkable performance in rather extreme settings, where $p \gg n$, all these penalties, with the exception of ridge, are non-differentiable at zero. This can be a limitation in certain cases, such as computational efficiency of parameter estimation in non-linear models or derivation of estimators of the degrees of freedom for model selection criteria. With this paper, we provide the scientific community with a differentiable penalty, which can be used in any situation, but particularly where differentiability plays a key role. We show some desirable features of this function and prove theoretical properties of the resulting estimators within a regularized regression context. A simulation study and the analysis of a real dataset show overall a good performance under different scenarios. The method is implemented in the R package DLASSO freely available from CRAN.

研究动机与目标

• 解决套索等非可微惩罚在高维回归中的局限性，特别是在非线性模型和模型选择准则中的应用。
• 开发一种在零点可微的惩罚函数，同时保持稀疏性和变量选择等理想特性。
• 提供一种灵活的套索和岭回归替代方案，可通过单一调参参数近似 l1 和 l2 惩罚。
• 通过平滑优化实现正则化回归中的高效参数估计和精确自由度估计。
• 通过模拟研究和真实数据分析，证明该方法的稳健性和竞争力。

提出的方法

• 提出一种新型惩罚函数：$ p(x,s) = x \cdot \text{erf}\left(\frac{x}{s}\right) $，其中 $ \text{erf} $ 为误差函数，$ s > 0 $ 为调参参数。
• 通过误差函数的构造，确保惩罚函数在所有位置（包括零点）均为二阶可微。
• 利用渐近性质 $ \lim_{s \to 0} p(x,s) = |x| $，使惩罚函数在 $ s \to 0 $ 时收敛于套索惩罚，在 $ s \to \infty $ 时收敛于岭惩罚。
• 设计高效的优化算法，利用惩罚函数的可微性，实现正则化回归中的快速收敛。
• 将该方法集成至 R 包 DLASSO 中，该包已发布于 CRAN，支持调参 $ s $ 的灵活设置与固定值设定。
• 通过交叉验证和 BIC 方法对 dlasso 与套索、岭回归、SCAD、弹性网络及 OLS 进行比较。

实验结果

研究问题

• RQ1 能否构造一种可微分的惩罚函数，使其近似套索惩罚，同时保持稀疏性和变量选择能力？
• RQ2 在高维设置下，可微分的 dlasso 惩罚与传统非可微惩罚（如套索和 SCAD）相比，性能如何？
• RQ3 惩罚函数的可微性在非线性模型或自由度估计中，能在多大程度上提升计算效率？
• RQ4 dlasso 方法在多种模拟场景和真实数据中是否能保持具有竞争力的预测与估计精度？
• RQ5 通过调节参数 $ s $，dlasso 惩罚是否能有效实现套索与岭回归行为之间的插值？

主要发现

• dlasso 惩罚在所有位置（包括零点）均为二阶可微，支持更平滑的优化并实现更精确的自由度估计。
• 在所有模拟场景中，dlasso 方法的预测与估计误差表现与套索和弹性网络相当。
• 在前列腺癌数据集中，当 $ s = 0.001 $ 时，dlasso 与套索和弹性网络选择了相同的五个预测变量，且 BIC 值优于 OLS 和岭回归。
• 当 $ s = 1 $ 时，dlasso 的结果与岭回归相似；当 $ s = 100 $ 时，其结果近似 OLS，证实了其在惩罚行为上的灵活性。
• 模拟研究显示，dlasso 在均方误差方面优于岭回归和 SCAD，且与套索和弹性网络持平或更优。
• 对数近似方法（公式 5）在优化中表现不稳定，因此被排除在后续模拟之外，凸显了 dlasso 方法的稳健性。