[论文解读] Exact block-wise optimization in group lasso and sparse group lasso for linear regression

Rina Foygel, Mathias Drton|arXiv (Cornell University)|Oct 16, 2010

Statistical Methods and Inference参考文献 13被引用 23

一句话总结

本文提出了单一线搜索（SLS）算法，用于在线性回归的组lasso和稀疏组lasso问题中实现精确的块状优化。通过仅使用一次单变量线搜索计算每个组的精确最优系数更新，SLS在计算效率上优于现有方法，具有理论保证，并通过实证验证显示收敛速度更快。

ABSTRACT

The group lasso is a penalized regression method, used in regression problems where the covariates are partitioned into groups to promote sparsity at the group level. Existing methods for finding the group lasso estimator either use gradient projection methods to update the entire coefficient vector simultaneously at each step, or update one group of coefficients at a time using an inexact line search to approximate the optimal value for the group of coefficients when all other groups' coefficients are fixed. We present a new method of computation for the group lasso in the linear regression case, the Single Line Search (SLS) algorithm, which operates by computing the exact optimal value for each group (when all other coefficients are fixed) with one univariate line search. We perform simulations demonstrating that the SLS algorithm is often more efficient than existing computational methods. We also extend the SLS algorithm to the sparse group lasso problem via the Signed Single Line Search (SSLS) algorithm, and give theoretical results to support both algorithms.

研究动机与目标

• 解决现有组lasso求解器依赖近似线搜索或全向量更新所导致的计算低效问题。
• 开发一种方法，在固定其他所有系数的前提下，计算每个组的精确最优系数更新。
• 将精确优化框架扩展至同时包含组级和个体级稀疏性的稀疏组lasso问题。
• 为所提出的算法提供收敛性和最优性的理论依据。
• 通过模拟实验表明，所提方法在计算速度和收敛速率方面优于标准求解器。

提出的方法

• 提出单一线搜索（SLS）算法，当所有其他系数固定时，通过一次单变量线搜索计算一组系数的精确最优值。
• 对于每个组，算法通过求解一个单变量r的单变量方程来确定最优组系数向量，利用组lasso目标函数的结构。
• 提出符号单一线搜索（SSLS）算法用于稀疏组lasso，通过引入非零系数的符号信息，确保收敛至唯一最小化点。
• 通过奇异值分解（SVD）对系数向量进行变换，解耦组结构，将优化问题简化为单变量问题。
• 基于符号一致性与次梯度条件的可行性检查，用于验证候选解的最优性。
• 理论分析表明，对于给定的符号向量s，线搜索方程最多只有一个解，且正确的符号向量对应唯一最小化点。

实验结果

研究问题

• RQ1 能否通过每组仅一次单变量线搜索，而非迭代近似方法，实现组lasso的精确块状优化？
• RQ2 所提出的SLS算法是否比使用近似线搜索的现有块坐标下降方法收敛更快且精度更高？
• RQ3 能否将精确优化框架扩展至同时具有组稀疏性和个体稀疏性的稀疏组lasso问题？
• RQ4 即使系数向量非唯一，稀疏组lasso问题的解在拟合值和惩罚项方面是否仍唯一确定？
• RQ5 何种理论条件可确保线搜索解对应于目标函数的真实全局最小值？

主要发现

• SLS算法仅通过一次单变量线搜索即可计算出精确最优的组系数更新，无需迭代线搜索过程。
• 实证结果表明SLS算法比现有方法更高效，在模拟实验中表现出更快的收敛速度和更短的计算时间。
• 符号单一线搜索（SSLS）算法将SLS框架扩展至稀疏组lasso，保持了精确性与收敛性保证。
• 理论分析确认，对于正确的符号向量，线搜索方程有且仅有一个解，且该解对应唯一全局最小化点。
• 即使系数向量非唯一，拟合值与惩罚项仍唯一，确保模型预测的一致性。
• 该方法保证解满足最优性的次梯度条件，可行性检查确保了符号一致性和有界次梯度。