[论文解读] Iteration complexity of inexact augmented Lagrangian methods for constrained convex programming

Yangyang Xu|arXiv (Cornell University)|Nov 15, 2017

Advanced Optimization Algorithms Research被引用 10

一句话总结

本文建立了带有等式和不等式约束的一般凸规划问题的非精确增广拉格朗日方法（iALM）的全局收敛速率和迭代复杂度。通过将内斯特罗夫的最优一阶方法应用于非精确的原始子问题，并分析遍历与非遍历收敛性，作者证明了iALM在凸目标函数下实现O(ε⁻¹)次梯度评估，在强凸目标函数下实现O(ε⁻¹/²|log ε|)次梯度评估，证明了其迭代复杂度是最优的。

ABSTRACT

Augmented Lagrangian method (ALM) has been popularly used for solving constrained optimization problems. Practically, subproblems for updating primal variables in the framework of ALM usually can only be solved inexactly. The convergence and local convergence speed of ALM have been extensively studied. However, the global convergence rate of inexact ALM is still open for problems with nonlinear inequality constraints. In this paper, we work on general convex programs with both equality and inequality constraints. For these problems, we establish the global convergence rate of inexact ALM and estimate its iteration complexity in terms of the number of gradient evaluations to produce a solution with a specified accuracy. We first establish an ergodic convergence rate result of inexact ALM that uses constant penalty parameters or geometrically increasing penalty parameters. Based on the convergence rate result, we apply Nesterov's optimal first-order method on each primal subproblem and estimate the iteration complexity of the inexact ALM. We show that if the objective is convex, then $O(\varepsilon^{-1})$ gradient evaluations are sufficient to guarantee an $\varepsilon$-optimal solution in terms of both primal objective and feasibility violation. If the objective is strongly convex, the result can be improved to $O(\varepsilon^{-\frac{1}{2}}|\log\varepsilon|)$. Finally, by relating to the inexact proximal point algorithm, we establish a nonergodic convergence rate result of inexact ALM that uses geometrically increasing penalty parameters. We show that the nonergodic iteration complexity result is in the same order as that for the ergodic result. Numerical experiments on quadratically constrained quadratic programming are conducted to compare the performance of the inexact ALM with different settings.

研究动机与目标

• 为非线性不等式约束凸规划中非精确增广拉格朗日方法（iALM）的全局收敛速率这一开放问题提供解答。
• 在一般凸规划设置下，建立iALM的迭代复杂度边界，以梯度评估次数为度量。
• 分析iALM在惩罚参数几何递增情况下的遍历与非遍历收敛速率。
• 证明所推导的迭代复杂度边界对凸与强凸问题均是最优的。
• 通过在二次约束二次规划上的数值实验，比较不同惩罚参数更新策略与误差容限设置下iALM的性能。

提出的方法

• 本文使用内斯特罗夫的最优一阶方法求解每个原始子问题的非精确解，确保高效的梯度评估。
• 建立了iALM在常数或几何递增惩罚参数下的遍历收敛速率，将收敛性与梯度评估次数关联。
• 通过将iALM与非精确的近端点算法关联，推导出非遍历收敛速率，其复杂度阶与遍历情况相同。
• 分析假设问题具有复合凸结构：f₀(x) = g(x) + h(x)，其中g为Lipschitz连续可微，h具有简单的近端映射。
• 方法引入了关于问题数据的光滑性与有界性假设，包括梯度的Lipschitz连续性与定义域直径D的有界性。
• 数值实验比较了在二次约束二次规划问题上，iALM采用常数惩罚、几何递增惩罚与自适应误差容限的性能。

实验结果

研究问题

• RQ1 对于具有非线性不等式约束的凸规划问题，非精确增广拉格朗日方法的全局收敛速率是什么？
• RQ2 iALM为达到ε-最优解的迭代复杂度（以梯度评估次数计）是多少？
• RQ3 iALM的遍历与非遍历收敛速率在迭代复杂度阶上是否具有相同的数量级？
• RQ4 所推导的迭代复杂度边界对凸与强凸问题是否是最优的？
• RQ5 不同的惩罚参数更新策略（常数 vs. 几何递增）与误差容限规则如何影响iALM的实际性能？

主要发现

• 对于凸目标函数，iALM以O(ε⁻¹)次梯度评估实现ε-最优解，这在一阶方法设置下是最优的。
• 对于强凸目标函数，迭代复杂度提升至O(ε⁻¹/²|log ε|)，与文献中已知的最佳结果一致，且似乎是最优的。
• 采用几何递增惩罚参数的iALM的非遍历收敛速率在阶上与遍历速率相同，证实了其在不同收敛类型下的鲁棒性。
• 在二次约束二次规划上的数值结果表明，几何递增惩罚与自适应误差容限相比常数设置能实现更快的收敛速度。
• 通过在非精确子问题上应用内斯特罗夫的最优一阶方法，建立了遍历收敛速率，从而实现了紧致的复杂度边界。
• 本文证实，增广对偶目标的全局收敛速率并不意味着原始目标或可行性收敛速度，因此必须对原始不可行性与目标间隙进行直接分析。