[论文解读] Exact block-wise optimization in group lasso for linear regression

Rina Foygel, Mathias Drton|arXiv (Cornell University)|Oct 16, 2010

Statistical Methods and Inference被引用 4

一句话总结

本文提出单一线搜索（SLS）算法，用于组lasso线性回归中的精确块优化，当其他组固定时，通过单次一维线搜索计算最优组系数更新。该方法在计算效率上优于现有方法，并通过带符号SLS（SSLS）算法扩展至稀疏组lasso，具有理论支持。

ABSTRACT

The group lasso is a penalized regression method, used in regression problems where the covariates are partitioned into groups to promote sparsity at the group level. Existing methods for finding the group lasso estimator either use gradient projection methods to update the entire coefficient vector simultaneously at each step, or update one group of coefficients at a time using an inexact line search to approximate the optimal value for the group of coefficients when all other groups' coefficients are fixed. We present a new method of computation for the group lasso in the linear regression case, the Single Line Search (SLS) algorithm, which operates by computing the exact optimal value for each group (when all other coefficients are fixed) with one univariate line search. We perform simulations demonstrating that the SLS algorithm is often more efficient than existing computational methods. We also extend the SLS algorithm to the sparse group lasso problem via the Signed Single Line Search (SSLS) algorithm, and give theoretical results to support both algorithms.

研究动机与目标

• 解决现有组lasso计算方法效率低下的问题，这些方法依赖于不精确的线搜索或全向量更新。
• 开发一种方法，在其他所有组固定时，精确计算每组系数的最优值，从而提升收敛速度与准确性。
• 将所提方法扩展至稀疏组lasso问题，同时保持计算效率与理论严谨性。
• 为SLS与SSLS算法的收敛性与最优性提供理论依据。
• 通过模拟实验表明，新方法在速度与效率方面优于现有计算策略。

提出的方法

• SLS算法在其他所有组的值固定时，通过单次一维线搜索精确计算单组系数的最优值。
• 该方法利用组lasso目标函数的凸性与结构，高效定位每次单组的最小值。
• 通过在每一步精确求解一维优化问题，避免了迭代线搜索近似。
• 对于稀疏组lasso，带符号SLS（SSLS）扩展通过引入符号信息，处理对单个系数的额外l1惩罚。
• 理论分析在凸优化的标准假设下，建立了SLS与SSLS的收敛性与最优性保证。
• 该方法专为具有分组预测变量的线性回归设计，可在保持计算可处理性的同时实现组级稀疏性。

实验结果

研究问题

• RQ1 能否比使用不精确线搜索或全向量更新更高效地实现组lasso的精确块优化？
• RQ2 每组仅进行一次一维线搜索，是否能作为现有迭代优化策略的计算更优替代方案？
• RQ3 SLS框架能否被扩展至稀疏组lasso，同时具备理论保证与实际效率？
• RQ4 SLS在收敛速度与解精度方面，与现有方法相比的计算性能如何？
• RQ5 SLS与SSLS算法可建立哪些理论性质，如收敛性与最优性？

主要发现

• SLS算法仅通过一次一维线搜索即可实现每组系数的精确最优更新，无需迭代近似。
• 模拟结果表明，SLS在高维设置下具有分组预测变量时，通常比现有方法更具计算效率。
• SSLS扩展成功将SLS推广至稀疏组lasso，在同时存在组稀疏性与个体稀疏性时，保持了精确性与效率。
• 理论结果在标准凸优化假设下，证实了SLS与SSLS的收敛性与最优性。
• 与梯度投影或不精确线搜索方法相比，所提方法显著降低了计算开销，尤其在组大小中等至较大时。
• 线搜索步骤的精确性在实践中带来更快的收敛速度与更可靠的解路径。