[论文解读] Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems

Jefferson G. Melo, Renato D. C. Monteiro+1 more|arXiv (Cornell University)|Jun 14, 2020

Sparse and Compressive Sensing Techniques参考文献 34被引用 12

一句话总结

本文提出了一种不精确的近端加速增广拉格朗日（IPAAL）方法，用于求解线性约束的光滑非凸复合优化问题。该方法将加速复合梯度（ACG）方法用于求解子问题，并结合自适应罚参数更新策略，实现了在一般情况下的迭代复杂度为 $\mathcal{O}(\log(1/\rho)/\rho^3)$，在更强假设下的复杂度为 $\mathcal{O}(\log(1/\rho)/\rho^{2.5})$，且无需假设有界域或初始可行性。

ABSTRACT

This paper proposes and establishes the iteration-complexity of an inexact proximal accelerated augmented Lagrangian (IPAAL) method for solving linearly constrained smooth nonconvex composite optimization problems. Each IPAAL iteration consists of inexactly solving a proximal augmented Lagrangian subproblem by an accelerated composite gradient (ACG) method followed by a suitable Lagrange multiplier update. It is shown that IPAAL generates an approximate stationary solution in at most ${\cal O}(\log(1/ρ)/ρ^{3})$ ACG iterations, where $ρ>0$ is the given tolerance. It is also shown that the previous complexity bound can be sharpened to ${\cal O}(\log(1/ρ)/ρ^{2.5})$ under additional mildly stronger assumptions. The above bounds are derived assuming that the initial point is neither feasible nor the domain of the composite term of the objective function is bounded. Some preliminary numerical results are presented to illustrate the performance of the IPAAL method.

研究动机与目标

• 开发一种用于线性约束光滑非凸复合优化问题的不精确近端加速增广拉格朗日方法。
• 在最小假设下建立该方法的迭代复杂度界，包括无需初始点可行或定义域有界的假设。
• 通过利用加速一阶方法和动态罚参数更新策略，提升收敛保证。
• 在较弱附加假设下（如可行集具有非空内部和罚函数水平集有界）提供紧致的复杂度界。

提出的方法

• 该方法使用一个 $\theta$-增广拉格朗日函数，该函数同时推广了标准增广拉格朗日函数和二次罚函数。
• 每次迭代通过使用步长 $\lambda = \tau/m$（$\tau \in (0,1)$）的加速复合梯度（ACG）方法近似求解近端子问题。
• 拉格朗日乘子通过 $p_k = (1 - \theta)p_{k-1} + c(Az_k - b)$ 更新，确保对偶步长一致性。
• 采用动态罚参数策略：当不可行性超过容差时，将 $c$ 加倍，以确保收敛到近似可行解。
• 该方法通过精炼迭代序列，生成满足最优性与可行性条件的三元组 $(\hat{z}, \hat{v}, \hat{p})$。
• 通过精细分析，利用误差界和 $\varepsilon$-次微分的性质以及强凸性，建立复杂度界。

实验结果

研究问题

• RQ1 对于具有线性约束的非凸复合问题，不精确近端加速增广拉格朗日方法的迭代复杂度是多少？
• RQ2 在稍强假设下（如可行集具有非空内部和罚函数水平集有界），复杂度界能否得到改进？
• RQ3 动态罚参数更新策略如何影响整体收敛速率与复杂度？
• RQ4 该方法能否在不假设定义域有界或初始点可行的前提下实现收敛？
• RQ5 $\theta$-增广拉格朗日函数在平衡对偶与原始进展方面起什么作用？

主要发现

• IPAAL 方法在寻找 $\rho$-近似最优解时，达到 $\mathcal{O}(\log(1/\rho)/\rho^3)$ 次 ACG 迭代的复杂度。
• 在较弱更强假设下，复杂度提升至 $\mathcal{O}(\log(1/\rho)/\rho^{2.5})$，反映出更优的收敛行为。
• 该方法保证精炼迭代 $\hat{z}_k$ 满足 $\|A\hat{z}_k - b\| = \mathcal{O}(1/\sqrt{c})$，当 $c$ 较大时确保近似可行性。
• 动态罚参数策略确保总 ACG 迭代次数为 $\mathcal{O}((1/\hat{\eta}\hat{\rho}^2)\log(1/\hat{\eta}))$，其中 $\hat{\rho}, \hat{\eta}$ 为容差。
• 分析无需假设初始点可行或复合项定义域有界。
• 由于使用了 $\varepsilon$-次微分和误差界技术，该方法在缺乏强凸性或有界定义域时仍具有鲁棒性和有效性。