[论文解读] Linearized Alternating Direction Method with Parallel Splitting and Adaptive Penalty for Separable Convex Programs in Machine Learning

Zhouchen Lin, Risheng Liu+1 more|arXiv (Cornell University)|Oct 18, 2013

Sparse and Compressive Sensing Techniques被引用 53

一句话总结

本文提出 LADMPSAP，一种用于求解机器学习中多块可分凸规划的线性化交替方向法，采用并行分裂和自适应惩罚策略。该方法在允许惩罚参数无界增长的同时，提供了更强的收敛性保证，并证明了全局收敛的充要条件；同时支持稀疏和低秩问题的闭式解，并具备高效的并行化能力。

ABSTRACT

Many problems in machine learning and other fields can be (re)for-mulated as linearly constrained separable convex programs. In most of the cases, there are multiple blocks of variables. However, the traditional alternating direction method (ADM) and its linearized version (LADM, obtained by linearizing the quadratic penalty term) are for the two-block case and cannot be naively generalized to solve the multi-block case. So there is great demand on extending the ADM based methods for the multi-block case. In this paper, we propose LADM with parallel splitting and adaptive penalty (LADMPSAP) to solve multi-block separable convex programs efficiently. When all the component objective functions have bounded subgradients, we obtain convergence results that are stronger than those of ADM and LADM, e.g., allowing the penalty parameter to be unbounded and proving the sufficient and necessary conditions} for global convergence. We further propose a simple optimality measure and reveal the convergence rate of LADMPSAP in an ergodic sense. For programs with extra convex set constraints, with refined parameter estimation we devise a practical version of LADMPSAP for faster convergence. Finally, we generalize LADMPSAP to handle programs with more difficult objective functions by linearizing part of the objective function as well. LADMPSAP is particularly suitable for sparse representation and low-rank recovery problems because its subproblems have closed form solutions and the sparsity and low-rankness of the iterates can be preserved during the iteration. It is also highly parallelizable and hence fits for parallel or distributed computing. Numerical experiments testify to the advantages of LADMPSAP in speed and numerical accuracy.

研究动机与目标

• 解决传统交替方向法（ADM）在扩展到多块可分凸规划时缺乏收敛性保证的问题。
• 开发一种方法，确保在多个变量块问题中保持全局收敛性和快速收敛速率。
• 通过支持闭式子问题和并行化，实现对大规模机器学习问题（如稀疏表示和低秩恢复）的高效计算。
• 提供一种具有自适应惩罚参数更新策略的实际算法，以在真实应用中实现更快的收敛速度。
• 通过线性化目标函数的一部分，将方法推广至处理非可分或带约束的目标函数。

提出的方法

• 提出一种具有并行分裂的线性化交替方向法（LADMPSAP），可同时更新所有变量块，避免顺序依赖。
• 引入一种自适应惩罚参数策略，根据收敛进度动态调整，允许惩罚参数无界增长，同时确保收敛性。
• 采用线性化增广拉格朗日形式，简化子问题，使核范数和 ℓ₁-范数项可获得闭式解。
• 引入带自适应缩放的邻近项，以稳定子问题更新并改善收敛行为。
• 采用基于原始残差与对偶间隙的新型最优性度量，以遍历方式监测收敛性。
• 针对具有凸集约束的问题，引入优化的参数估计方法，以在实际场景中加速收敛。

实验结果

研究问题

• RQ1 能否将线性化交替方向法扩展至多块可分凸规划，并在收敛性保证方面优于现有 ADM 变体？
• RQ2 允许惩罚参数无界增长是否能在不牺牲全局收敛性的前提下提升收敛速度？
• RQ3 该方法在迭代过程中能否保持稀疏性和低秩结构，使其适用于稀疏和低秩恢复问题？
• RQ4 与固定或启发式惩罚参数更新相比，自适应惩罚策略在收敛速度和鲁棒性方面表现如何？
• RQ5 该方法能否推广至处理非可分或带约束的目标函数，同时保持收敛性和效率？

主要发现

• LADMPSAP 在弱于 ADM 和 LADM 的假设下建立了全局收敛性，证明了收敛的充分与必要条件。
• 该方法允许惩罚参数无界增长，同时仍能保证收敛，相较于先前方法有显著改进。
• 证明了以遍历方式的收敛性，收敛速率为 O(1/K)，其中 K 为迭代次数。
• 对于具有凸集约束的问题，优化的参数估计在实际中可实现更快收敛。
• 在稀疏表示和低秩恢复任务的数值实验中，该算法表现出高数值精度和优越的速度。
• 当目标函数为核范数或 ℓ₁-范数时，子问题可获得闭式解，从而实现高效且可扩展的计算。