[论文解读] Augmented Lagrangian based first-order methods for convex-constrained programs with weakly-convex objective

Zichong Li, Yangyang Xu|arXiv (Cornell University)|Mar 19, 2020

Advanced Optimization Algorithms Research参考文献 25被引用 7

一句话总结

该论文提出了一种新颖的混合一阶方法，结合了不精确增广拉格朗日法（iALM）与二次惩罚法，用于求解具有弱凸目标函数的凸约束优化问题。通过利用邻近点迭代，并交替使用iALM与惩罚子问题，该方法在寻找ε-KKT点时实现了最优的迭代复杂度$O(\varepsilon^{-5/2} |\log \varepsilon|)$，在理论上和实践中均优于现有方法。

ABSTRACT

First-order methods (FOMs) have been widely used for solving large-scale problems. A majority of existing works focus on problems without constraint or with simple constraints. Several recent works have studied FOMs for problems with complicated functional constraints. In this paper, we design a novel augmented Lagrangian (AL) based FOM for solving problems with non-convex objective and convex constraint functions. The new method follows the framework of the proximal point (PP) method. On approximately solving PP subproblems, it mixes the usage of the inexact AL method (iALM) and the quadratic penalty method, while the latter is always fed with estimated multipliers by the iALM. We show a complexity result of $O(\varepsilon^{-\frac{5}{2}}|\log\varepsilon|)$ for the proposed method to achieve an $\varepsilon$-KKT point. This is the best known result. Theoretically, the hybrid method has lower iteration-complexity requirement than its counterpart that only uses iALM to solve PP subproblems, and numerically, it can perform significantly better than a pure-penalty-based method. Numerical experiments are conducted on nonconvex linearly constrained quadratic programs and nonconvex QCQP. The numerical results demonstrate the efficiency of the proposed methods over existing ones.

研究动机与目标

• 为使用一阶方法求解大规模具有弱凸（非凸）目标函数的凸约束优化问题提供解决方案。
• 改进基于增广拉格朗日法的一阶方法在具有函数约束的非凸问题中的迭代复杂度。
• 设计一种混合算法，结合iALM的稳定性与惩罚法在求解邻近点子问题时的效率。
• 在弱凸性假设下，建立实现ε-KKT点容忍度的非递推迭代复杂度界。
• 通过数值实验表明，该混合方法在非凸线性约束二次规划问题上显著优于纯惩罚法与纯iALM方法。

提出的方法

• 该方法遵循邻近点（PP）框架，其中每个子问题通过一种混合策略近似求解。
• 对于每个PP子问题，它在不精确增广拉格朗日法（iALM）与二次惩罚法之间交替进行，其中iALM为惩罚子问题提供估计的对偶乘子。
• 使用iALM提供的估计乘子求解惩罚子问题，从而确保比纯惩罚法具有更好的收敛行为。
• 该算法采用带有参数$L_{\min}, \gamma_1, \gamma_2$的线搜索策略，以自适应调整惩罚参数与步长。
• 该方法设计用于处理非凸甚至可能不可微的目标函数，同时保持约束的凸性以及约束函数的弱凸性。
• 收敛性分析基于对不可行性与最优性间隙的有界性分析，最终得到以ε-KKT点容差表示的非递推复杂度界。

实验结果

研究问题

• RQ1 能否通过结合iALM与惩罚法的混合一阶方法，在弱凸约束问题上实现优于纯iALM或纯惩罚法的迭代复杂度？
• RQ2 在具有弱凸目标函数的凸约束问题中，实现ε-KKT点的最优非递推迭代复杂度是多少？
• RQ3 该混合方法在实际性能上与纯惩罚法和纯iALM方法相比如何？
• RQ4 该算法性能对超参数选择（如$L_{\min}, \gamma_1, \gamma_2$）的敏感性如何？
• RQ5 所提出的方法是否能在保持较低每轮迭代成本的同时，为大规模问题实现更优的全局收敛速率？

主要发现

• 所提方法在寻找ε-KKT点时实现了$O(\varepsilon^{-5/2} |\log \varepsilon|)$的迭代复杂度，这是目前最优的结果。
• 由于子问题条件更好，与仅使用iALM求解PP子问题的方法相比，该混合方法具有更低的迭代复杂度。
• 在非凸线性约束二次规划问题上的数值实验表明，该混合方法在目标函数与梯度评估次数方面显著优于纯惩罚法。
• 该方法对超参数选择具有鲁棒性，不同$L_{\min}, \gamma_1, \gamma_2$设置下的性能仅在同一数量级内变化。
• 在27组参数组合下，ε = 10^{-3}时的平均目标函数评估次数约为116万次，可行性与最优性残差均低于10^{-3}。
• 该算法在整个迭代过程中保持可行性，原始不可行性与对偶不可行性均收敛至接近零的值。