[論文レビュー] Global convergence rates of augmented Lagrangian methods for constrained convex programming.

Yangyang Xu|arXiv (Cornell University)|Nov 15, 2017

Sparse and Compressive Sensing Techniques参考文献 23被引用数 11

ひとこと要約

本稿は、非線形不等式制約を伴う凸プログラミングにおける増大ラグランジュ法（ALM）のグローバル収束速度を確立し、部分問題の解が正確に得られる場合にO(1/k)のエルゴディック収束速度を証明するとともに、和が収束する誤差を伴う不正確なバージョンにその結果を拡張する。さらに、部分問題にネステロフの最適な一次順序法を用いることで、ε-最適解を得るための勾配評価回数がO(ε^(-3/2−δ))に抑えられ、滑らかな問題ではプロキシマル正則化を導入することで複雑度がO(ε^(-1)|log ε|)に改善されることを示す。

ABSTRACT

Augmented Lagrangian method (ALM) has been popularly used for solving constrained optimization problems. Its convergence and local convergence speed have been extensively studied. However, its global convergence rate is still open for problems with nonlinear inequality constraints. In this paper, we work on general constrained convex programs. For these problems, we establish the global convergence rate of ALM and its inexact variants. We first assume exact solution to each subproblem in the ALM framework and establish an $O(1/k)$ ergodic convergence result, where $k$ is the number of iterations. Then we analyze an inexact ALM that approximately solves the subproblems. Assuming summable errors, we prove that the inexact ALM also enjoys $O(1/k)$ convergence if smaller stepsizes are used in the multiplier updates. Furthermore, we apply the inexact ALM to a constrained composite convex problem with each subproblem solved by Nesterov's optimal first-order method. We show that $O(\varepsilon^{-\frac{3}{2}-\delta})$ gradient evaluations are sufficient to guarantee an $\varepsilon$-optimal solution in terms of both primal objective and feasibility violation, where $\delta$ is an arbitrary positive number. Finally, for constrained smooth problems, we modify the inexact ALM by adding a proximal term to each subproblem and improve the iteration complexity to $O(\varepsilon^{-1}|\log\varepsilon|)$.

研究の動機と目的

• 非線形不等式制約を伴う凸計画問題における増大ラグランジュ法（ALM）のグローバル収束速度に関する理解のギャップを埋めること。
• 部分問題が和が収束する誤差を伴って近似的に解かれる不正確なALMバージョンを分析すること。
• 目的関数値および実行可能性違反の両面でε-最適解を達成するための反復複雑度の境界を導出すること。
• 滑らかな制約付き凸問題において、部分問題にプロキシマル項を組み込むことで収束速度を向上させること。

提案手法

• 本稿は、一般の凸計画問題において部分問題が正確に解かれる条件下で、ALMのO(1/k)エルゴディック収束速度を確立する。
• 誤差が和が収束するものであり、かつ乗数更新で小さいステップサイズが用いられる場合に、部分問題の解に誤差を許容する不正確なALMの変種を導入する。
• 各部分問題を解くためにネステロフの最適な一次順序法を適用し、勾配複雑度の分析を可能にする。
• 滑らかな問題では、各部分問題にプロキシマル項を追加して収束を加速する。
• 解析はエルゴディック収束列と、和が収束する誤差仮定による誤差蓄積の制御に依存する。
• 双対性および増大ラグランジュ形式化の収束性の性質を用いて理論的境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 非線形不等式制約を伴う一般の凸計画問題における増大ラグランジュ法のグローバル収束速度は何か？
• RQ2 部分問題が和が収束する誤差を伴って不正確に解かれる場合でも、O(1/k)の収束速度は保たれるか？
• RQ3 部分問題がネステロフの最適な一次順序法で解かれる不正確なALMの反復複雑度は何か？
• RQ4 部分問題にプロキシマル項を追加することで、滑らかな制約付き凸問題における収束速度にどのような影響を与えるか？
• RQ5 ε-最適性を達成するための反復複雑度をO(ε^(-3/2−δ))より改善できるか？

主な発見

• 正確なALMは、一般の制約付き凸計画問題においてO(1/k)のエルゴディック収束速度を達成する。
• 和が収束する誤差と小さいステップサイズを用いる不正確なALMは、O(1/k)の収束速度を維持する。
• 部分問題がネステロフの最適な一次順序法で解かれる場合、ε-最適解を得るための反復複雑度はO(ε^(-3/2−δ))の勾配評価回数に抑えられる。
• 滑らかな問題では、部分問題にプロキシマル項を追加することで、反復複雑度がO(ε^(-1)|log ε|)に低下する。
• 収束結果は、プライマル目的関数値および実行可能性違反の両方に対して成り立ち、両方の指標でε-最適性が保証される。
• 解析により、誤差蓄積を考慮する不正確なALMにおいて、小さいステップサイズが収束速度を維持するために不可欠であることが確認された。