[论文解读] Rate-improved Inexact Augmented Lagrangian Method for Constrained Nonconvex Optimization

Zichong Li, Pin‐Yu Chen+3 more|arXiv (Cornell University)|Jul 2, 2020

Sparse and Compressive Sensing Techniques参考文献 31被引用 11

一句话总结

本文提出了一种改进的不精确增广拉格朗日法（iALM），用于约束非凸优化，利用不精确的近端点法（iPPM）更高效地求解子问题。该方法在仿射等式约束下的复杂度达到最优的 $\tilde{O}(\varepsilon^{-5/2})$，在非凸约束下达到 $\tilde{O}(\varepsilon^{-3})$，理论上与惩罚法相当，但实践中表现更优。

ABSTRACT

First-order methods have been studied for nonlinear constrained optimization within the framework of the augmented Lagrangian method (ALM) or penalty method. We propose an improved inexact ALM (iALM) and conduct a unified analysis for nonconvex problems with either affine equality or nonconvex constraints. Under certain regularity conditions (that are also assumed by existing works), we show an $ ilde{O}(\varepsilon^{-\frac{5}{2}})$ complexity result for a problem with a nonconvex objective and affine equality constraints and an $ ilde{O}(\varepsilon^{-3})$ complexity result for a problem with a nonconvex objective and nonconvex constraints, where the complexity is measured by the number of first-order oracles to yield an $\varepsilon$-KKT solution. Both results are the best known. The same-order complexity results have been achieved by penalty methods. However, two different analysis techniques are used to obtain the results, and more importantly, the penalty methods generally perform significantly worse than iALM in practice. Our improved iALM and analysis close the gap between theory and practice. Numerical experiments on nonconvex problems with affine equality or nonconvex constraints are provided to demonstrate the effectiveness of our proposed method.

研究动机与目标

• 弥合非凸约束优化中一阶方法的理论复杂度边界与实际性能之间的差距。
• 为非凸环境下增广拉格朗日框架中的子问题求解器提供更稳定高效的解决方案。
• 实现具有仿射等式约束或一般非凸约束的非凸问题的最优迭代复杂度。
• 在标准非凸问题正则性条件下，统一分析不精确增广拉格朗日方法。
• 展示相比现有iALM和基于惩罚的方法，具有更优的实验性能。

提出的方法

• 提出一种新颖的不精确近端点法（iPPM）以求解增广拉格朗日子问题，替代先前iALM中不稳定的基于加速的方法。
• 将iPPM集成到增广拉格朗日框架中，实现在每次迭代中对AL函数进行高效且稳定的最小化。
• 使用Nesterov的加速一阶方法求解由iPPM生成的扰动强凸子问题。
• 在标准正则性条件下采用统一的收敛性分析，推导出仿射约束与非凸约束下的迭代复杂度边界。
• 采用线搜索策略自适应调整惩罚参数，确保全局收敛。
• 实施回溯方案，以在对偶更新过程中保持增广拉格朗日函数的充分下降。

实验结果

研究问题

• RQ1 我们能否设计一种不精确ALM，使其在具有仿射等式约束的非凸问题中达到最优的迭代复杂度？
• RQ2 我们能否在保持最优收敛速率的同时，将复杂度分析扩展到非凸约束？
• RQ3 为何惩罚法能达到最优复杂度，但在实践中却表现不如iALM？
• RQ4 更稳定的子问题求解器是否能在不牺牲理论保证的前提下提升iALM的实际性能？
• RQ5 将Nesterov加速与非凸最小化结合，对收敛稳定性有何影响？

主要发现

• 所提出的iALM在具有仿射等式约束的非凸问题中达到 $\tilde{O}(\varepsilon^{-5/2})$ 的复杂度，与目前已知的最佳理论边界一致。
• 对于非凸约束，该方法实现 $\tilde{O}(\varepsilon^{-3})$ 的复杂度，为目前最优，且在理论上与基于惩罚的方法一致。
• 数值实验表明，所提出的iALM显著优于Sahin等人（2019）提出的iALM，在基准问题上迭代次数和耗时最多减少5–10倍。
• iPPM驱动的子问题求解器在收敛速度和稳定性方面均优于Sahin等人（2019）的基于加速的方法，如平稳性违反轨迹所示。
• 在广义特征值问题（n=1000）中，所提方法在30,376次迭代内达到平均可行性残差3.52e-4和对偶间隙9.03e-4，而基线iALM需139,823次迭代。
• 在大规模LCQP问题（n=1000, m=100）中，所提iALM在280,500次梯度评估内达到解，而iPPP方法需1,644,496次评估。