[论文解读] Iteration-complexity of an inner accelerated inexact proximal augmented Lagrangian method based on the classical Lagrangian function and a full Lagrange multiplier update

Jefferson G. Melo, Renato D. C. Monteiro+1 more|arXiv (Cornell University)|Aug 2, 2020

Sparse and Compressive Sensing Techniques参考文献 53被引用 7

一句话总结

该论文提出了一种内加速不精确邻近增广拉格朗日（IAIPAL）方法，用于使用经典的增广拉格朗日函数求解线性约束平滑非凸复合优化问题。该方法在不需初始点可行的条件下，实现了$\mathcal{O}(\rho^{-3})$次ACG迭代（最多含对数项）以获得容忍度为$\ rho > 0$的近似驻点解，其迭代复杂度为$\ mathcal{O}(\rho^{-3})$。

ABSTRACT

This paper establishes the iteration-complexity of an inner accelerated inexact proximal augmented Lagrangian (IAIPAL) method for solving linearly-constrained smooth nonconvex composite optimization problems that is based on the classical augmented Lagrangian (AL) function. More specifically, each IAIPAL iteration consists of inexactly solving a proximal AL subproblem by an accelerated composite gradient (ACG) method followed by a classical Lagrange multiplier update. Under the assumption that the domain of the composite function is bounded and the problem has a Slater point, it is shown that IAIPAL generates an approximate stationary solution in ${\cal O}( ho^{-3})$ ACG iterations (up to a logarithmic term) where $ ho>0$ is the tolerance for both stationarity and feasibility. Moreover, the above bound is derived without assuming that the initial point is feasible. Finally, numerical results are presented to demonstrate the strong practical performance of IAIPAL.

研究动机与目标

• 开发一种高效算法，用于求解线性约束平滑非凸复合优化问题。
• 在较弱假设下，建立不精确邻近增广拉格朗日方法的迭代复杂度界。
• 消除初始点必须可行的要求，从而增强实际适用性。
• 分析加速复合梯度方法在增广拉格朗日框架内的收敛行为。
• 通过数值实验展示其强大的实际性能。

提出的方法

• 该方法以经典的增广拉格朗日函数为基础，用于求解非凸优化问题。
• 每次迭代通过使用加速复合梯度（ACG）方法不精确求解一个邻近增广拉格朗日子问题。
• 在每次子问题求解后执行完整的拉格朗日乘子更新，确保与经典AL理论的一致性。
• ACG方法以容忍度参数$\rho > 0$控制不精确性，平衡精度与效率。
• 该算法无需初始迭代点可行，从而提高了鲁棒性。
• 邻近正则化确保在有界定义域假设下子问题的适定性与收敛性。

实验结果

研究问题

• RQ1 对于非凸问题，采用加速梯度步骤的不精确邻近增广拉格朗日方法的迭代复杂度是多少？
• RQ2 该方法是否能在不强制初始点可行的条件下实现收敛？
• RQ3 复杂度如何随驻点与可行性容忍度$\ rho$的变化而变化？
• RQ4 完整的拉格朗日乘子更新在方法收敛行为中起什么作用？
• RQ5 与现有方法相比，该方法在实际中的表现如何？

主要发现

• IAIPAL方法在不需精确求解子问题的条件下，实现了$\ mathcal{O}(\rho^{-3})$次ACG迭代，以获得容忍度为$\ rho > 0$的近似驻点解，最多含对数因子。
• 即使初始点不可行，该复杂度界依然成立，从而提升了实际鲁棒性。
• 分析假设复合函数的定义域有界，并存在一个Slater点，以确保强对偶性条件。
• 该方法使用经典的增广拉格朗日函数，并在每次迭代中执行完整的拉格朗日乘子更新。
• 数值结果表明其具有强大的实际性能，表明该方法在真实应用中的高效性。
• 该界在不假设子问题被精确求解的前提下推导得出，使得该方法适用于不精确、实际的实现。