[论文解读] An Inexact Augmented Lagrangian Framework for Nonconvex Optimization with Nonlinear Constraints

Mehmet Fatih Sahin, Armin Eftekhari+3 more|arXiv (Cornell University)|Jun 26, 2019

Sparse and Compressive Sensing Techniques参考文献 61被引用 19

一句话总结

本文提出了一种用于具有非线性约束的非凸优化的不精确增广拉格朗日方法（iALM），采用不精确的子问题求解。该方法建立了寻找一阶平稳点的总迭代复杂度为 $\tilde{\mathcal{O}}(1/\epsilon^4)$，寻找二阶平稳点的总迭代复杂度为 $\tilde{\mathcal{O}}(1/\epsilon^5)$，在可验证的几何条件下，该复杂度与已知的理论边界一致，该几何条件与Polyak-Lojasiewicz和Mangasarian-Fromovitz条件相关。

ABSTRACT

We propose a practical inexact augmented Lagrangian method (iALM) for nonconvex problems with nonlinear constraints. We characterize the total computational complexity of our method subject to a verifiable geometric condition, which is closely related to the Polyak-Lojasiewicz and Mangasarian-Fromowitz conditions. In particular, when a first-order solver is used for the inner iterates, we prove that iALM finds a first-order stationary point with $ ilde{\mathcal{O}}(1/ε^4)$ calls to the first-order oracle. If, in addition, the problem is smooth and a second-order solver is used for the inner iterates, iALM finds a second-order stationary point with $ ilde{\mathcal{O}}(1/ε^5)$ calls to the second-order oracle, which matches the known theoretical complexity result in the literature. We also provide strong numerical evidence on large-scale machine learning problems, including the Burer-Monteiro factorization of semidefinite programs, and a novel nonconvex relaxation of the standard basis pursuit template. For these examples, we also show how to verify our geometric condition.

研究动机与目标

• 开发一种在实际应用中可行且理论基础坚实的用于具有非线性约束的非凸优化的不精确增广拉格朗日方法（iALM）。
• 在可验证的几何条件下，建立iALM的总迭代复杂度边界，该条件与Polyak-Lojasiewicz和Mangasarian-Fromovitz条件相关。
• 在大规模机器学习问题上展示该方法的有效性，包括SDP的Burer-Monteiro因子分解和基追踪的非凸松弛。
• 通过分析和数值方法在附录中验证关键问题上的几何条件，并提供iALM性能的数值证据。

提出的方法

• 提出一种不精确增广拉格朗日框架，其中内部子问题使用一阶或二阶求解器近似求解。
• 引入一个几何条件，以确保收敛性并简化分析，该条件与Polyak-Lojasiewicz和Mangasarian-Fromovitz条件相关。
• 使用一阶预言机求解内部子问题，以实现寻找一阶平稳点的 $\tilde{\mathcal{O}}(1/\epsilon^4)$ 复杂度。
• 采用二阶求解器求解内部子问题，以实现寻找二阶平稳点的 $\tilde{\mathcal{O}}(1/\epsilon^5)$ 复杂度。
• 将该框架应用于半正定规划的Burer-Monteiro因子分解和基追踪的非凸松弛。
• 通过附录中的分析和数值方法，验证特定问题上的几何条件。

实验结果

研究问题

• RQ1 用于具有非线性约束的非凸问题的不精确增广拉格朗日方法的总迭代复杂度是多少？
• RQ2 所提出方法的复杂度与已知理论边界相比如何？
• RQ3 本文引入的几何条件是否可验证于关键优化问题，如Burer-Monteiro因子分解或QAP？
• RQ4 当使用不精确的子问题求解时，iALM框架是否仍保持理论保证？
• RQ5 该方法在大规模机器学习问题上的数值表现如何？

主要发现

• iALM 实现了寻找一阶平稳点的 $\tilde{\mathcal{O}}(1/\epsilon^4)$ 一阶预言机复杂度，纠正了先前声称的 $\tilde{\mathcal{O}}(1/\epsilon^3)$ 的错误。
• 使用二阶求解器时，该方法实现了寻找二阶平稳点的 $\tilde{\mathcal{O}}(1/\epsilon^5)$ 复杂度，与已知的理论结果一致。
• 引入的几何条件具有可验证性，并与著名的最优性条件（如Polyak-Lojasiewicz和Mangasarian-Fromovitz条件）相关。
• 在Burer-Monteiro因子分解和非凸基追踪松弛上的数值实验表明，方法表现强劲且保持可行性。
• 该方法具有鲁棒性和前瞻性，允许在不改变外层框架的前提下替换不同的内部求解器。
• 通过分析和数值分析，成功验证了关键问题（包括半正定规划和二次分配问题）上的几何条件。