[论文解读] An efficient linearly convergent semismooth Netwon-CG augmented Lagrangian method for Lasso problems

Xudong Li, Defeng Sun+1 more|arXiv (Cornell University)|Jul 19, 2016

Sparse and Compressive Sensing Techniques参考文献 44被引用 3

一句话总结

本文提出Ssnal，一种新颖的算法，将半光滑牛顿-共轭梯度法与增广拉格朗日框架相结合，以高效求解大规模Lasso问题。通过利用Lasso问题的分段线性-二次结构，Ssnal实现了全局收敛性和局部线性收敛性，在真实世界数据集上的速度和鲁棒性方面优于现有最先进求解器。

ABSTRACT

We develop a fast and robust algorithm for solving large-scale convex composite optimization models with an emphasis on the $\ell_1$-regularized least square regression (the Lasso) problems. Although there exist a large amount of solvers in the literature for Lasso problems, so far no solver can handle difficult real large scale regression problems. By relying on the piecewise linear-quadratic structure of the problems to realize the remarkable fast linear convergence property of the augmented Lagrangian algorithm, and by exploiting the superlinear convergence of the semismooth Newton-CG method, we are able to design a new algorithm, called {\sc Ssnal}, to efficiently solve the aforementioned difficult problems. Global convergence and local linear convergence results for {\sc Ssnal} are established. Numerical results, including the comparison between our approach and several state-of-the-art solvers, on real data sets, are presented to demonstrate the high efficiency and robustness of our proposed algorithm in solving large-scale difficult problems.

研究动机与目标

• 为解决现有求解器难以有效处理的大规模、困难Lasso问题提出挑战。
• 开发一种利用Lasso问题结构特性的算法，以实现更快的收敛速度。
• 在求解Lasso问题时，实现全局收敛性和局部线性收敛速率。
• 在真实世界的大规模回归数据集上，超越现有最先进求解器的表现。

提出的方法

• 该算法使用增广拉格朗日方法将Lasso问题分解为具有有利结构的子问题。
• 采用半光滑牛顿-CG方法求解子问题，利用其分段线性-二次性质实现超线性收敛。
• 该方法将半光滑牛顿-CG的快速局部收敛性与增广拉格朗日框架的全局收敛保证相结合。
• 通过高效管理子问题求解的计算成本，该算法被设计用于处理大规模问题。
• 系统性地利用Lasso问题的分段线性-二次结构，以实现快速收敛。
• 通过理论分析，严格建立了全局与局部收敛性质。

实验结果

研究问题

• RQ1 结合半光滑牛顿-CG与增广拉格朗日方法的混合算法是否能实现大规模Lasso问题的更快收敛？
• RQ2 Lasso问题的分段线性-二次结构如何影响所提算法的收敛行为？
• RQ3 所提方法是否能在真实世界的大规模回归数据集上超越现有最先进求解器？
• RQ4 能否为新算法建立全局与局部收敛的理论保证？
• RQ5 该算法如何在各类大规模问题实例中保持鲁棒性与高效性？

主要发现

• Ssnal在求解Lasso问题时实现了全局收敛性和局部线性收敛性。
• 与现有最先进求解器相比，该算法在真实世界的大规模回归数据集上表现出更优性能。
• Lasso问题的分段线性-二次结构使得增广拉格朗日方法实现了显著的快速线性收敛。
• 半光滑牛顿-CG与增广拉格朗日框架的结合，使子问题求解达到超线性收敛。
• 数值结果证实了Ssnal在求解困难大规模Lasso问题时的高效率与鲁棒性。
• 该方法能有效处理现有求解器失效的大规模实例，展现出实际可扩展性。