[論文レビュー] An Augmented Lagrangian Method for Conic Convex Programming

Necdet Serhat Aybat, Garud Iyengar|arXiv (Cornell University)|Feb 26, 2013

Advanced Optimization Algorithms Research参考文献 10被引用数 20

ひとこと要約

本稿では、凸錐計画問題に適用可能な、不正確な1次オーダーの増大ラグランジュ法であるALCCを提案する。本手法は、$\epsilon$-可解性および$\epsilon$-最適性を達成するための$\mathcal{O}(\log(\epsilon^{-1}))$回の反復を要し、各反復では単純な部分問題を$\mathcal{O}(\epsilon^{-1}\log(\epsilon^{-1}))$回解く必要がある。弱い仮定のもとで、KKT点への収束およびグローバル最適性が保証される。

ABSTRACT

We propose a new first-order augmented Lagrangian algorithm ALCC for solving convex conic programs of the form min{rho(x)+gamma(x): Ax-b in K, x in chi}, where rho and gamma are closed convex functions, and gamma has a Lipschitz continuous gradient, A is mxn real matrix, K is a closed convex cone, and chi is a "simple" convex compact set such that optimization problems of the form min{rho(x)+|x-x0|_2^2: x in chi} can be efficiently solved for any given x0. We show that any limit point of the primal ALCC iterates is an optimal solution of the conic convex problem, and the dual ALCC iterates have a unique limit point that is a Karush-Kuhn-Tucker (KKT) point of the conic program. We also show that for any epsilon>0, the primal ALCC iterates are epsilon-feasible and epsilon optimal after O(log(1/epsilon)) iterations which require solving O(1/epsilon log(1/epsilon)) problems of the form min{rho(x)+|x-x0|_2^2: x in chi}.

研究の動機と目的

• 凸錐制約を伴う凸錐最適化問題を解くための効率的な1次オーダーのアルゴリズムを開発すること。
• 弱い制約適合条件のもとで、KKT点への収束およびグローバル最適性を保証すること。
• $\epsilon$-可解性および$\epsilon$-最適性を$\mathcal{O}(\log \epsilon^{-1})$回の反復で達成し、部分問題の複雑度を有界に保つこと。
• 滑らかでない成分のリップシッツ連続性を活用し、問題の構造を効果的に利用することで、1次オーダー手法による部分問題の効率的解法を実現すること。
• 制約行列$A$に正則性条件を要求しないように、増大ラグランジュ法を錐計画問題へ拡張すること。

提案手法

• 本手法は、$\chi$ を単純なコンact集合とする形の不正確な増大ラグランジュ部分問題 $\min_{x \in \chi} \{ \rho(x) + \gamma(x) + \frac{1}{2\mu_k} \|Ax - b - s_k\|_2^2 \}$ を用いる。
• 増大ラグランジュを不正確に最小化するための1次オーダー手法を適用し、$\nabla\gamma$ のリップシッツ連続性と、$\min_{x \in \chi} \{ \rho(x) + \|x - \bar{x}\|_2^2 \}$ の効率的解法に依存する。
• 反復複雑度を制御するため、罰則パラメータ$\mu_k$を慎重に増加させ、部分最適性の許容誤差$\alpha_k$を減少させることで収束を保証する。
• 双対反復$y_k$は双対錐$\mathcal{K}^*$への射影により更新され、誤差項の有界性と可 summability を用いて収束を示す。
• 本手法はメリット関数$g_{\mu_k}(y_k)$に依存し、弱双対性および$g_0$の上半連続性を用いて、KKT点への収束を証明する。
• 非滑らか項$\rho(x)$をプロキシマルに類似した部分問題として扱い、$A$の完全な正則性を要求しないように設計されている。

実験結果

リサーチクエスチョン

• RQ1 不正確な1次オーダーの増大ラグランジュ法を、収束性および反復複雑度が保証された凸錐計画問題に適用可能に設計できるか。
• RQ2 双対反復がKKT点に収束し、原像反復が最適解に収束するための条件は何か。
• RQ3 部分問題の複雑度を有界に保ちながら、$\epsilon$-可解性および$\epsilon$-最適性を達成するにはどうすればよいか。
• RQ4 $\mu_k$および$\alpha_k$の増加・減少ルールは、グローバル収束性および最適な反復回数を保証するか。
• RQ5 強い制約適合条件を必要とせずに、行列ゲーム、半正定値計画、$\ell_1$-最小化問題などに本アルゴリズムを適用可能か。

主な発見

• 原像ALCC反復の任意の極限点は、錐凸問題の最適解である。
• 双対反復$\{y_k\}$は、一意な極限点$\bar{y}$に収束し、これは問題のKKT点である。
• 任意の$\epsilon > 0$に対して、本アルゴリズムは$\mathcal{O}(\log \epsilon^{-1})$回の反復で$\epsilon$-可解性および$\epsilon$-最適性を達成する。
• 各反復では、$\mathcal{O}(\epsilon^{-1} \log \epsilon^{-1})$個の部分問題 $\min_{x \in \chi} \{ \rho(x) + \|x - \bar{x}\|_2^2 \}$ を解く必要がある。
• 収束証明は、$\sqrt{\xi_k \mu_k}$ の可summabilityおよび双対関数$g_0$の上半連続性に依存する。
• 本手法は、行列ゲーム、半正定値計画、$\ell_1$-最小化など、重要な特殊ケースに適用可能で、有界な実行可能集合を仮定する。