[論文レビュー] Iteration complexity of first-order augmented Lagrangian methods for convex conic programming

Zhaosong Lu, Zirui Zhou|arXiv (Cornell University)|Mar 27, 2018

Sparse and Compressive Sensing Techniques参考文献 23被引用数 13

ひとこと要約

本稿では、凸錐計画問題に対する不正確な増大ラグランジュ法（I-AL）を提案し、部分問題を近似的に解くためにネステロフの最適な一次順序法を用いる。$") で表される $ abla f$ と $ abla g$ のリプシッツ連続性を仮定する。

ABSTRACT

In this paper we consider a class of convex conic programming. In particular, we first propose an inexact augmented Lagrangian (I-AL) method that resembles the classical I-AL method for solving this problem, in which the augmented Lagrangian subproblems are solved approximately by a variant of Nesterov's optimal first-order method. We show that the total number of first-order iterations of the proposed I-AL method for finding an $ε$-KKT solution is at most $\mathcal{O}(ε^{-7/4})$. We then propose an adaptively regularized I-AL method and show that it achieves a first-order iteration complexity $\mathcal{O}(ε^{-1}\logε^{-1})$, which significantly improves existing complexity bounds achieved by first-order I-AL methods for finding an $ε$-KKT solution. Our complexity analysis of the I-AL methods is based on a sharp analysis of inexact proximal point algorithm (PPA) and the connection between the I-AL methods and inexact PPA. It is vastly different from existing complexity analyses of the first-order I-AL methods in the literature, which typically regard the I-AL methods as an inexact dual gradient method.

研究の動機と目的

• 凸錐計画問題に対する一次順序不正確増大ラグランジュ法（I-AL）を、反復複雑性の向上を図って開発すること。
• ε-KKT解を求めるために必要な一次順序反復回数の総数を分析し、収束速度に注目すること。
• 従来の方法よりタイトな複雑性バウンドを確立するため、I-AL を不正確なプロキシマル点プロセス法（PPA）として再解釈し、不正確な双対勾配法とは異にする。
• 収束複雑性を向上させるために、適応的正則化を用いた I-AL の変種を提案すること。
• I-AL と不正確 PPA の関係に基づく鋭い複雑性分析を、問題構造と滑らかさに関する標準的仮定の下で提供すること。

提案手法

• I-AL 法は、ネステロフの最適な一次順序法の変種を用いて、増大ラグランジュ部分問題を近似的に解く。
• 収束解析にはプロキシマル点フレームワークを用い、I-AL を誤差制御付きの不正確 PPA として扱う。
• 収束速度の向上を図るため、ペナルティパラメータ $") で表される $ abla f$ と $ abla g$ のリプシッツ連続性を仮定する。
• 反復の更新は、双対ステップサイズを射影により行う：$\lambda^{k+1} = \Pi_{\mathcal{K}^*}(\lambda^k + \rho_k g(x^{k+1}))$。
• 収束は、部分問題の不正確解における誤差バウンドにより解析され、ε-KKT解に対して総誤差が $") で表される $ abla f$ と $ abla g$ のリプシッツ連続性を仮定する。

実験結果

リサーチクエスチョン

• RQ1 部分問題を近似的に解く場合、凸錐計画問題における一次順序 I-AL 法の反復複雑性は何か？
• RQ2 アルゴリズム構造を変更することで、$") で表される $ abla f$ と $ abla g$ のリプシッツ連続性を仮定する。
• RQ3 不正確 PPA 解釈と標準的な不正確双対勾配法との複雑性解析における違いは何か？
• RQ4 適応的正則化は、必要な一次順序反復回数を削減する上で果たす役割は何か？
• RQ5 提案手法は、反復複雑性において $") で表される $ abla f$ と $ abla g$ のリプシッツ連続性を仮定する。

主な発見

• 提案された I-AL 法は、ε-KKT解を求める反復複雑性として $") で表される $ abla f$ と $ abla g$ のリプシッツ連続性を仮定する。
• 適応的正則化を施した I-AL の変種は、$") で表される $ abla f$ と $ abla g$ のリプシッツ連続性を仮定する。
• 複雑性解析は、I-AL と不正確 PPA の間の新規な関係に基づくものであり、従来の不正確双対勾配法としての解釈とは異なる。
• 本手法は、$P$ のプロキシマル作用素と $") で表される $ abla f$ と $ abla g$ のリプシッツ連続性を仮定する。
• 不正確部分問題解の誤差バウンドに基づく収束解析により、ε-KKT点へのグローバル収束が保証される。
• 強双対性と $") で表される $ abla f$ と $ abla g$ のリプシッツ連続性を仮定する。