[论文解读] First-order methods for constrained convex programming based on linearized augmented Lagrangian function

Yangyang Xu|arXiv (Cornell University)|Nov 21, 2017

Sparse and Compressive Sensing Techniques参考文献 15被引用 18

一句话总结

本文提出两种一阶方法，用于求解具有仿射等式约束和光滑非线性不等式约束的约束凸优化问题，采用线性化增广拉格朗日函数。这两种方法均实现全局亚线性收敛和局部线性收敛，其中一种方法仅使用一次近端梯度步长，另一种方法采用块坐标更新，数值实验结果表明其优于现有方法。

ABSTRACT

First-order methods have been popularly used for solving large-scale problems. However, many existing works only consider unconstrained problems or those with simple constraint. In this paper, we develop two first-order methods for constrained convex programs, for which the constraint set is represented by affine equations and smooth nonlinear inequalities. Both methods are based on the classic augmented Lagrangian function. They update the multipliers in the same way as the augmented Lagrangian method (ALM) but employ different primal variable updates. The first method, at each iteration, performs a single proximal gradient step to the primal variable, and the second method is a block update version of the first one. For the first method, we establish its global iterate convergence as well as global sublinear and local linear convergence, and for the second method, we show a global sublinear convergence result in expectation. Numerical experiments are carried out on the basis pursuit denoising and a convex quadratically constrained quadratic program to show the empirical performance of the proposed methods. Their numerical behaviors closely match the established theoretical results.

研究动机与目标

• 开发高效的一阶方法，用于求解同时具有仿射等式约束和光滑非线性不等式约束的约束凸规划问题。
• 将一阶方法的适用范围从简单或仿射约束扩展至一般非线性约束问题。
• 在较弱假设下，为所提方法建立全局收敛性和迭代复杂度保证。
• 设计一种块更新变体，利用问题结构以提升实际性能。
• 通过在基础追踪去噪和二次约束二次规划问题上的数值实验，验证理论结果。

提出的方法

• 该方法使用线性化增广拉格朗日函数近似原问题，从而实现高效子问题求解。
• 在每次迭代中，通过一次近端梯度步长更新原始变量，以最小化线性化增广拉格朗日函数。
• 对偶变量（乘子）通过在增广拉格朗日函数上执行梯度上升步长进行更新，类似于经典增广拉格朗日法（ALM）。
• 针对具有坐标友好结构的问题，提出一种块坐标更新变体，通过分块更新变量以提升收敛性。
• 罚参数 β 固定，对偶步长与 β 成比例设置，以保证稳定性和收敛性。
• 算法仅依赖光滑函数的梯度信息和非光滑项的近端映射，确保每次迭代计算成本较低。

实验结果

研究问题

• RQ1 一阶方法能否被有效扩展至一般非线性约束凸规划问题，而不仅限于仿射或简单约束？
• RQ2 当原始子问题以不精确方式求解时，基于线性化增广拉格朗日函数的一阶方法能建立何种收敛保证？
• RQ3 在基于线性化 ALM 框架中，采用块坐标更新策略是否能在实际中带来更优的收敛行为？
• RQ4 在标准假设下，能否理论证明此类方法具有全局亚线性收敛和局部线性收敛？
• RQ5 在真实世界问题上，所提方法与现有的一阶原始-对偶方法及不精确 ALM 方法相比，数值表现如何？

主要发现

• 所提出的单近端步长方法实现了全局迭代收敛，且全局亚线性收敛速率为 O(1/k)，与理论预测一致。
• 当迭代点进入最优解邻域时，单近端步长方法可建立局部线性收敛性。
• 块更新变体在期望意义下实现全局亚线性收敛，实际中观察到更快的非递推收敛速度。
• 在基础追踪去噪和 QCQP 问题上的数值结果表明，两种方法均优于 PD-YN 原始-对偶方法，且在接近最优解时表现出线性收敛。
• 递推迭代收敛速率精确为 O(1/k)，证实了理论亚线性速率。
• BLALM 变体在性能上优于 LALM，尤其在非递推收敛方面，归因于块更新显著提升了局部收敛速度。