[论文解读] Path Following and Empirical Bayes Model Selection for Sparse Regression

Hua Zhou, Artin Armagan+1 more|arXiv (Cornell University)|Jan 17, 2012

Statistical Methods and Inference参考文献 33被引用 12

一句话总结

本文提出了一种针对任意凸损失函数和广泛类别的惩罚项（包括非凸惩罚）的高效路径跟踪算法，通过常微分方程（ODE）求解路径追踪实现稀疏回归。此外，还提出了一种基于经验贝叶斯的模型选择程序，可快速识别最优调参而无需交叉验证，从而在高维广义线性模型（GLMs）中实现快速、稳定且可扩展的模型选择。

ABSTRACT

In recent years, a rich variety of regularization procedures have been proposed for high dimensional regression problems. However, tuning parameter choice and computational efficiency in ultra-high dimensional problems remain vexing issues. The routine use of $\ell_1$ regularization is largely attributable to the computational efficiency of the LARS algorithm, but similar efficiency for better behaved penalties has remained elusive. In this article, we propose a highly efficient path following procedure for combination of any convex loss function and a broad class of penalties. From a Bayesian perspective, this algorithm rapidly yields maximum a posteriori estimates at different hyper-parameter values. To bypass the inefficiency and potential instability of cross validation, we propose an empirical Bayes procedure for rapidly choosing the optimal model and corresponding hyper-parameter value. This approach applies to any penalty that corresponds to a proper prior distribution on the regression coefficients. While we mainly focus on sparse estimation of generalized linear models, the method extends to more general regularizations such as polynomial trend filtering after reparameterization. The proposed algorithm scales efficiently to large $p$ and/or $n$. Solution paths of 10,000 dimensional examples are computed within one minute on a laptop for various generalized linear models (GLM). Operating characteristics are assessed through simulation studies and the methods are applied to several real data sets.

研究动机与目标

• 解决现有正则化方法在超高维稀疏回归中计算效率低下和调参敏感的问题。
• 通过提出一种更快、更稳定的基于经验贝叶斯的替代方法，克服交叉验证在调参选择中的局限性。
• 通过基于ODE的解路径追踪，开发一种通用且可扩展的路径跟踪算法，适用于广泛类型的惩罚项，包括非凸惩罚。
• 利用惩罚族的贝叶斯解释，实现对不同超参数值的高效最大后验估计（MAP）。
• 通过重新参数化，将适用范围从标准Lasso扩展到更复杂的正则化形式，如多项式趋势滤波。

提出的方法

• 将稀疏回归问题表述为最小化一个凸损失函数加上一个对称、可微且满足温和正则性条件的惩罚函数。
• 使用基于常微分方程（ODE）的路径跟踪算法，随调参ρ的变化平滑追踪解路径，避免其他路径算法中常见的固定步长问题。
• 应用极大化-极小化（MM）原理处理非凸惩罚，通过迭代用支撑超平面替代凹惩罚项，将问题转化为一系列类似Lasso的子问题。
• 推导出一种经验贝叶斯程序，通过基于解路径的边际似然估计最大化来选择最优模型和调参，从而绕过交叉验证。
• 通过在路径跟踪框架内使用迭代重新加权最小二乘法（IRWLS），将该方法扩展至广义线性模型（GLMs）。
• 通过重新参数化非标准正则化（如三次趋势滤波）使其适配该框架，从而将适用范围扩展至标准惩罚之外。

实验结果

研究问题

• RQ1 能否为具有任意凸损失和广泛惩罚函数类（包括非凸惩罚）的稀疏回归开发一种通用且高效的路径跟踪算法？
• RQ2 如何在不依赖计算成本高昂的交叉验证的前提下，实现高效且稳定的模型选择？
• RQ3 所提出的经验证据贝叶斯程序在速度和准确性方面相较于传统方法（如AIC/BIC或交叉验证）的性能优势有多大？
• RQ4 在各种模拟设置下，不同惩罚类型（如Lasso、非凸幂惩罚）在假阳性率（FPR）和假阴性率（FNR）及估计误差方面的表现如何比较？
• RQ5 能否通过重新参数化，将路径跟踪框架扩展至如多项式趋势滤波等复杂正则化形式？

主要发现

• 该路径跟踪算法在标准笔记本电脑上处理10,000维广义线性模型（GLMs）的解路径计算时间低于一分钟，展现出极高的可扩展性。
• 与Lasso相比，经验贝叶斯模型选择在模型选择性能上表现更优，所有GLM类型下均实现了更低的假阳性率（FPR），且均方误差（MSE）相当或更优。
• 非凸惩罚（如η = 0.25, 0.5）始终比Lasso（η = 1）产生更低的FPR，表明对假阳性具有更好的控制能力，同时保持较低的假阴性率（FNR）。
• 在逻辑回归中，由于路径跟踪过程中早期出现完全分离现象，非凸惩罚（η = 0.25, 0.5, 0.75）的运行时间快于Lasso。
• 经验贝叶斯程序为交叉验证提供了一种稳定且快速的替代方案，其运行时间在不同设置间差异显著（中位数约50秒），但仍保持实际可用性。
• 通过重新参数化，该方法成功扩展至非标准正则化（如三次趋势滤波），在M&A数据集上的实验已证明其有效性。