[论文解读] Global convergence rates of augmented Lagrangian methods for constrained convex programming.

Yangyang Xu|arXiv (Cornell University)|Nov 15, 2017

Sparse and Compressive Sensing Techniques参考文献 23被引用 11

一句话总结

本文建立了在约束凸规划中增广拉格朗日法（ALM）的全局收敛速率，证明了在子问题精确求解下具有 O(1/k) 的遍历收敛速率，并将其扩展至具有可 summable 误差的不精确变体。此外，本文表明，使用 Nesterov 的最优一阶方法求解子问题可实现 O(ε^(-3/2−δ)) 次梯度计算以获得 ε-最优解，而对于光滑问题，通过增加邻近正则化项，可将复杂度进一步优化至 O(ε^(-1)|log ε|)。

ABSTRACT

Augmented Lagrangian method (ALM) has been popularly used for solving constrained optimization problems. Its convergence and local convergence speed have been extensively studied. However, its global convergence rate is still open for problems with nonlinear inequality constraints. In this paper, we work on general constrained convex programs. For these problems, we establish the global convergence rate of ALM and its inexact variants. We first assume exact solution to each subproblem in the ALM framework and establish an $O(1/k)$ ergodic convergence result, where $k$ is the number of iterations. Then we analyze an inexact ALM that approximately solves the subproblems. Assuming summable errors, we prove that the inexact ALM also enjoys $O(1/k)$ convergence if smaller stepsizes are used in the multiplier updates. Furthermore, we apply the inexact ALM to a constrained composite convex problem with each subproblem solved by Nesterov's optimal first-order method. We show that $O(\varepsilon^{-\frac{3}{2}-\delta})$ gradient evaluations are sufficient to guarantee an $\varepsilon$-optimal solution in terms of both primal objective and feasibility violation, where $\delta$ is an arbitrary positive number. Finally, for constrained smooth problems, we modify the inexact ALM by adding a proximal term to each subproblem and improve the iteration complexity to $O(\varepsilon^{-1}|\log\varepsilon|)$.

研究动机与目标

• 为填补关于具有非线性不等式约束的凸规划中增广拉格朗日法（ALM）全局收敛速率的理解空白。
• 分析子问题以可 summable 误差近似求解的不精确 ALM 变体。
• 推导出在目标函数值和可行性违反度两方面均达到 ε-最优解的迭代复杂度边界。
• 通过在光滑约束问题的子问题中引入邻近项，进一步提升收敛速率。

提出的方法

• 本文在一般凸规划中，证明了在子问题精确求解条件下，ALM 具有 O(1/k) 的遍历收敛速率。
• 提出了一种子问题求解误差可 summable 且乘子更新采用更小步长的不精确 ALM 变体。
• 该方法采用 Nesterov 的最优一阶方法求解每个子问题，从而实现梯度复杂度分析。
• 对于光滑问题，在每个子问题中增加邻近项以加速收敛。
• 分析依赖于遍历收敛序列和通过可 summable 误差假设控制误差累积。
• 理论边界通过拉格朗日对偶性及增广拉格朗日公式收敛性质推导得出。

实验结果

研究问题

• RQ1 对于具有非线性不等式约束的一般凸规划，增广拉格朗日法的全局收敛速率是多少？
• RQ2 当子问题以可 summable 误差近似求解时，O(1/k) 的收敛速率是否仍能保持？
• RQ3 当子问题使用 Nesterov 的最优一阶方法求解时，不精确 ALM 的迭代复杂度是多少？
• RQ4 在光滑约束凸问题中，向子问题添加邻近项如何影响收敛速率？
• RQ5 能否将达到 ε-最优性的迭代复杂度提升至 O(ε^(-3/2−δ)) 以下？

主要发现

• 精确 ALM 在一般约束凸规划中实现了 O(1/k) 的遍历收敛速率。
• 在可 summable 误差和更小步长的条件下，不精确 ALM 仍保持 O(1/k) 的收敛速率。
• 当子问题通过 Nesterov 的最优一阶方法求解时，达到 ε-最优性的迭代复杂度为 O(ε^(-3/2−δ)) 次梯度计算。
• 对于光滑问题，通过在子问题中添加邻近项，可将迭代复杂度降低至 O(ε^(-1)|log ε|)。
• 收敛结果同时适用于原始目标函数值和可行性违反度，确保在两个度量下均达到 ε-最优性。
• 分析结果确认，在存在误差累积的不精确 ALM 中，使用更小步长对于保持收敛速率至关重要。