[论文解读] Iteration complexity of first-order augmented Lagrangian methods for convex conic programming

Zhaosong Lu, Zirui Zhou|arXiv (Cornell University)|Mar 27, 2018

Sparse and Compressive Sensing Techniques参考文献 23被引用 13

一句话总结

本文提出了一种用于凸锥规划的不精确增广拉格朗日（I-AL）方法，采用内斯特罗夫的最优一阶方法近似求解子问题。该方法建立了寻找 $\epsilon$-KKT 解的迭代复杂度为 $\mathcal{O}(\epsilon^{-7/4})$，并进一步提出一种自适应正则化 I-AL 变体，实现 $\mathcal{O}(\epsilon^{-1}\log\epsilon^{-1})$ 的复杂度，通过一种新颖的不精确邻近点算法（PPA）分析，显著改进了先前的复杂度界。

ABSTRACT

In this paper we consider a class of convex conic programming. In particular, we first propose an inexact augmented Lagrangian (I-AL) method that resembles the classical I-AL method for solving this problem, in which the augmented Lagrangian subproblems are solved approximately by a variant of Nesterov's optimal first-order method. We show that the total number of first-order iterations of the proposed I-AL method for finding an $ε$-KKT solution is at most $\mathcal{O}(ε^{-7/4})$. We then propose an adaptively regularized I-AL method and show that it achieves a first-order iteration complexity $\mathcal{O}(ε^{-1}\logε^{-1})$, which significantly improves existing complexity bounds achieved by first-order I-AL methods for finding an $ε$-KKT solution. Our complexity analysis of the I-AL methods is based on a sharp analysis of inexact proximal point algorithm (PPA) and the connection between the I-AL methods and inexact PPA. It is vastly different from existing complexity analyses of the first-order I-AL methods in the literature, which typically regard the I-AL methods as an inexact dual gradient method.

研究动机与目标

• 开发用于凸锥规划的首阶不精确增广拉格朗日（I-AL）方法，以提升迭代复杂度。
• 分析找到 $\epsilon$-KKT 解所需的首阶迭代总次数，重点关注收敛速率。
• 通过将 I-AL 重新解释为不精确邻近点算法（PPA），而非不精确对偶梯度法，建立比现有方法更紧的复杂度界。
• 提出一种自适应正则化 I-AL 变体，以实现改进的收敛复杂度。
• 基于 I-AL 与不精确 PPA 之间的联系，提供基于标准问题结构与光滑性假设的精确复杂度分析。

提出的方法

• I-AL 方法使用内斯特罗夫最优一阶方法的变体，近似求解增广拉格朗日子问题。
• 该方法采用邻近点框架分析收敛性，将 I-AL 视为带有误差控制的不精确 PPA。
• 引入一种自适应正则化策略，以动态调整惩罚参数 $\rho_k$，从而提升收敛速率。
• 分析依赖于对 $P$ 的邻近算子和对偶锥 $\mathcal{K}^*$ 上的投影的精确计算，且在 $P$ 的定义域上假设梯度的利普希茨连续性。
• 算法通过投影方式更新对偶步长：$\lambda^{k+1} = \Pi_{\mathcal{K}^*}(\lambda^k + \rho_k g(x^{k+1}))$。
• 通过子问题解的误差界分析收敛性，确保 $\epsilon$-KKT 解的总误差保持在 $\mathcal{O}(\epsilon)$ 以内。

实验结果

研究问题

• RQ1 当子问题被近似求解时，首阶 I-AL 方法在凸锥规划中的迭代复杂度是多少？
• RQ2 能否通过修改算法结构，将复杂度改进至 $\mathcal{O}(\epsilon^{-7/4})$ 以下？
• RQ3 不精确 PPA 解释与标准不精确对偶梯度法在复杂度分析上有什么不同？
• RQ4 自适应正则化在减少所需首阶迭代次数方面起到什么作用？
• RQ5 所提方法能否在迭代复杂度中实现对 $\epsilon^{-1}$ 的对数依赖？

主要发现

• 所提出的 I-AL 方法在寻找 $\epsilon$-KKT 解时达到 $\mathcal{O}(\epsilon^{-7/4})$ 的迭代复杂度，优于先前的界。
• 自适应正则化 I-AL 变体实现了显著改进的复杂度 $\mathcal{O}(\epsilon^{-1}\log\epsilon^{-1})$，在对数因子内为最优。
• 复杂度分析基于 I-AL 与不精确 PPA 之间的一种新颖联系，区别于经典解释为不精确对偶梯度法。
• 该方法假设对 $P$ 的邻近算子和对 $\mathcal{K}^*$ 的投影可精确计算，且 $\nabla f$ 和 $\nabla g$ 在 $P$ 的定义域上满足利普希茨连续性。
• 通过子问题解的误差界建立收敛性，确保全局收敛至 $\epsilon$-KKT 点。
• 结果在强对偶性和 $\mathrm{dom}(P)$ 的紧致性假设下推导得出，这些假设在稀疏和低秩学习问题中常见。