[论文解读] Accelerated first-order primal-dual proximal methods for linearly constrained composite convex programming

Yangyang Xu|arXiv (Cornell University)|Jun 29, 2016

Sparse and Compressive Sensing Techniques参考文献 29被引用 4

一句话总结

本文提出两种加速的一阶原始-对偶方法——加速线性化增广拉格朗日乘子法（LALM）和加速线性化ADMM（LADMM），用于处理线性约束的复合凸优化问题。通过结合光滑项与增广拉格朗日项的线性化处理以及自适应参数选择，该方法在弱凸性或强凸性假设下实现了 O(1/t²) 的收敛速率，显著提升了非加速方法及现有加速方法的收敛速度。

ABSTRACT

Motivated by big data applications, first-order methods have been extremely popular in recent years. However, naive gradient methods generally converge slowly. Hence, much efforts have been made to accelerate various first-order methods. This paper proposes two accelerated methods towards solving structured linearly constrained convex programming, for which we assume composite convex objective. The first method is the accelerated linearized augmented Lagrangian method (LALM). At each update to the primal variable, it allows linearization to the differentiable function and also the augmented term, and thus it enables easy subproblems. Assuming merely weak convexity, we show that LALM owns $O(1/t)$ convergence if parameters are kept fixed during all the iterations and can be accelerated to $O(1/t^2)$ if the parameters are adapted, where $t$ is the number of total iterations. The second method is the accelerated linearized alternating direction method of multipliers (LADMM). In addition to the composite convexity, it further assumes two-block structure on the objective. Different from classic ADMM, our method allows linearization to the objective and also augmented term to make the update simple. Assuming strong convexity on one block variable, we show that LADMM also enjoys $O(1/t^2)$ convergence with adaptive parameters. This result is a significant improvement over that in [Goldstein et. al, SIIMS'14], which requires strong convexity on both block variables and no linearization to the objective or augmented term. Numerical experiments are performed on quadratic programming, image denoising, and support vector machine. The proposed accelerated methods are compared to nonaccelerated ones and also existing accelerated methods. The results demonstrate the validness of acceleration and superior performance of the proposed methods over existing ones.

研究动机与目标

• 为解决大规模凸优化中一阶方法收敛缓慢的问题，特别是在大数据应用中的表现。
• 为线性约束的复合凸规划问题设计高效算法，其中目标函数为光滑与非光滑凸函数之和。
• 通过在原始-对偶方法中结合线性化技术与自适应参数选择，实现更快的收敛速率。
• 通过允许对光滑目标函数与增广拉格朗日项同时进行线性化，扩展现有加速方法，简化子问题求解。

提出的方法

• 提出一种加速线性化增广拉格朗日乘子法（LALM），在线性化子问题中的光滑函数 f 与增广拉格朗日项，以实现闭式更新。
• 采用三重序列（x^k, x̂^k, x̄^k）与自适应参数（α_k, β_k, γ_k, P^k），实现超越标准 O(1/t) 速率的收敛加速。
• 提出一种用于两块结构问题的加速线性化ADMM（LADMM），允许对目标函数与增广项同时线性化，以简化子问题。
• 引入带有半正定权重矩阵 P^k 的邻近项，以稳定并加速子问题更新。
• 通过在迭代过程中自适应调整参数（如 β_k ∝ (k+1)/||B||²），在某一块变量具有强凸性时实现 O(1/t²) 收敛速率。
• 将该方法应用于二次规划、图像去噪与支持向量机，验证了其实际效率。

实验结果

研究问题

• RQ1 是否可在原始-对偶方法中同时对光滑目标函数与增广拉格朗日项进行线性化，同时仍实现 O(1/t²) 收敛速率？
• RQ2 在具有线性化增广拉格朗日框架下，自适应参数选择是否能带来比固定参数方法更快的收敛速度？
• RQ3 是否可在仅满足弱凸性（无需两块变量均强凸）的条件下，如LALM方法中，实现 O(1/t²) 收敛速率？
• RQ4 所提出的加速LADMM相较于经典ADMM与非加速线性化ADMM，在收敛速度与解质量方面表现如何？
• RQ5 该加速技术在SVM、图像去噪与二次规划等多样化应用中是否具备鲁棒性与有效性？

主要发现

• 加速线性化ALM在仅满足弱凸性条件下实现了 O(1/t²) 收敛速率，相较于固定参数下的标准 O(1/t) 速率有显著提升。
• 加速LADMM在某一变量块具有强凸性时实现了 O(1/t²) 收敛速率，优于需两块均强凸的现有方法。
• 数值实验表明，加速方法在二次规划、图像去噪与SVM任务中，收敛速度显著快于非加速方法及现有加速方法。
• 自适应参数策略（如 β_k ∝ (k+1)）相比固定参数设置能实现更快收敛，尤其在早期迭代中表现更优。
• 对光滑项与增广项同时进行线性化可简化子问题，并在 g 为简单函数（如 ℓ₁-范数或指示函数）时实现闭式解。
• 在SVM实验中，加速线性化ADMM在目标函数值与可行性方面均优于非加速线性化ADMM与经典非线性化ADMM。