[論文レビュー] Iteration complexity of inexact augmented Lagrangian methods for constrained convex programming

Yangyang Xu|arXiv (Cornell University)|Nov 15, 2017

Advanced Optimization Algorithms Research被引用数 10

ひとこと要約

本稿は、等式および不等式制約を伴う一般の凸計画問題に対する不正確な増大ラグランジュ法（iALM）のグローバル収束速度および反復複雑度を確立する。著者らは、各プライマル部分問題を不正確に解くためにネステロフの最適な一次順序法を適用し、収束の平均的（ergodic）および非平均的（nonergodic）な両方の解析を実施することで、iALMが凸目的関数ではO(ε⁻¹)の勾配評価、強く凸な場合にはO(ε⁻¹/²|log ε|)の勾配評価を達成することを示し、反復複雑度が最適であることを証明する。

ABSTRACT

Augmented Lagrangian method (ALM) has been popularly used for solving constrained optimization problems. Practically, subproblems for updating primal variables in the framework of ALM usually can only be solved inexactly. The convergence and local convergence speed of ALM have been extensively studied. However, the global convergence rate of inexact ALM is still open for problems with nonlinear inequality constraints. In this paper, we work on general convex programs with both equality and inequality constraints. For these problems, we establish the global convergence rate of inexact ALM and estimate its iteration complexity in terms of the number of gradient evaluations to produce a solution with a specified accuracy. We first establish an ergodic convergence rate result of inexact ALM that uses constant penalty parameters or geometrically increasing penalty parameters. Based on the convergence rate result, we apply Nesterov's optimal first-order method on each primal subproblem and estimate the iteration complexity of the inexact ALM. We show that if the objective is convex, then $O(\varepsilon^{-1})$ gradient evaluations are sufficient to guarantee an $\varepsilon$-optimal solution in terms of both primal objective and feasibility violation. If the objective is strongly convex, the result can be improved to $O(\varepsilon^{-\frac{1}{2}}|\log\varepsilon|)$. Finally, by relating to the inexact proximal point algorithm, we establish a nonergodic convergence rate result of inexact ALM that uses geometrically increasing penalty parameters. We show that the nonergodic iteration complexity result is in the same order as that for the ergodic result. Numerical experiments on quadratically constrained quadratic programming are conducted to compare the performance of the inexact ALM with different settings.

研究の動機と目的

• 非線形不等式制約を伴う凸計画問題に対する不正確な増大ラグランジュ法（iALM）のグローバル収束速度に関する未解決問題を解消すること。
• 一般の凸プログラミング設定下でのiALMの勾配評価数に基づく反復複雑度の境界を確立すること。
• 幾何的に増加するペナルティパラメータを用いたiALMの平均的および非平均的収束速度を分析すること。
• 凸および強く凸な問題に対する導出された反復複雑度境界の最適性を示すこと。
• 二次的制約付き二次計画問題における数値実験を通じて、iALMの性能を定数ペナルティ、幾何的に増加するペナルティ、および適応的誤差許容度の設定と比較すること。

提案手法

• 本稿では、各プライマル部分問題を不正確に解くためにネステロフの最適な一次順序法を用い、勾配評価の効率を保証する。
• 定数または幾何的に増加するペナルティパラメータを用いたiALMの平均的収束速度を確立し、収束が勾配評価回数にどのように関連するかを示す。
• iALMを不正確な近接点アルゴリズムに類似させることで非平均的収束速度を導出し、平均的場合と同程度の複雑度を達成することを示す。
• 問題の構造を合成凸型として仮定する：f₀(x) = g(x) + h(x)，ここでgはリプシッツ連続な微分可能性を満たし、hは単純な近接写像を持つ。
• 勾配のリプシッツ連続性および定義域の直径Dの有界性を含む、問題データに関する滑らかさおよび有界性の仮定を導入する。
• 数値実験では、二次的制約付き二次計画問題に対して、定数ペナルティ、幾何的に増加するペナルティ、および適応的誤差許容度の設定のiALMを比較する。

実験結果

リサーチクエスチョン

• RQ1 非線形不等式制約を伴う凸計画問題に対する不正確な増大ラグランジュ法のグローバル収束速度は何か？
• RQ2 iALMの反復複雑度（ε-最適解を達成するための勾配評価回数）はどのように定式化されるか？
• RQ3 iALMの平均的および非平均的収束速度が反復複雑度のオーダーにおいて同一であることを示せるか？
• RQ4 導出された反復複雑度境界が凸および強く凸な問題において最適であるか？
• RQ5 異なるペナルティ更新戦略（定数対幾何的に増加）および誤差許容度ルールは、iALMの実用的性能にどのように影響を与えるか？

主な発見

• 凸目的関数の場合、iALMはO(ε⁻¹)の勾配評価でε-最適解に到達でき、これは一次順序法の文脈で最適である。
• 強く凸な目的関数の場合、反復複雑度はO(ε⁻¹/²|log ε|)に改善され、文献で知られている最良の結果と一致しており、おそらく最適であると考えられる。
• 幾何的に増加するペナルティパラメータを用いたiALMの非平均的収束速度は、平均的収束速度とオーダーが同一であり、収束タイプにかかわらず一貫性があることを確認する。
• 二次的制約付き二次計画問題に対する数値結果から、幾何的に増加するペナルティと適応的誤差許容度は、定数設定よりも高速な収束を示す。
• Nesterovの最適な一次順序法を不正確な部分問題に適用することで、平均的収束速度が確立され、タイトな複雑度境界が得られる。
• 本稿は、増大双対目的関数のグローバル収束速度が、プライマル目的関数または実行可能性の収束速度を示唆しないことを確認し、プライマルの非実行性および目的関数ギャップの直接的分析の必要性を裏付けている。