[論文レビュー] Complexity certifications of first order inexact Lagrangian and penalty methods for conic convex programming

Ion Necoara, Andrei Pătraşcu+1 more|arXiv (Cornell University)|Jun 17, 2015

Optimization and Variational Analysis被引用数 8

ひとこと要約

本稿は、錐制約付き凸計画問題に対する1次元不正確ラグランジュおよびペナルティ法を分析し、最適ラグランジュ乗数が有界または無限大である場合の複雑さの証明を提示する。不正確勾配法に補正ラグランジュ平滑化を適用した場合、ε-最適解を得るにはO(1/ε)回の射影が必要であるのに対し、ネステロフ型の平滑化またはペナルティ法ではO(1/ε^{3/2})回の射影が必要であることが示された。

ABSTRACT

In this paper we analyze first order Lagrangian and penalty methods for general cone constrained convex programming with bounded or unbounded optimal Lagrange multipliers. In the first part of our paper we assume bounded optimal Lagrange multipliers and we study primal-dual first order methods based on inexact information and smoothing techniques (augmented Lagrangian smoothing and Nesterov type smoothing). For inexact (fast) gradient augmented Lagrangian methods we derive overall computational complexity $\mathcal{O}\left( \frac{1}{\epsilon} ight)$ projections onto a simple primal set in order to attain an $\epsilon-$optimal solution of the conic convex problem. On the other hand, the inexact fast gradient method combined with Nesterov type smoothing technique requires $\mathcal{O}\left( \frac{1}{\epsilon^{3/2}} ight)$ projections onto the same set to attain an $\epsilon-$optimal solution of the original problem. In the second part of the paper, we assume possibly unbounded optimal Lagrange multipliers, and combine the fast gradient method with penalty strategies for solving the conic constrained optimization problem. We prove that, in this scenario, the penalty methods also require $\mathcal{O}\left( \frac{1}{\epsilon^{3/2}} ight)$ projections onto a simple primal set to attain an $\epsilon-$optimal solution for the original problem.

研究の動機と目的

• 錐制約付き凸最適化における1次元不正確ラグランジュおよびペナルティ法の計算複雑さを分析すること。
• 不正確勾配法と平滑化技術を用いて、最適ラグランジュ乗数が有界である場合の複雑さの境界を確立すること。
• 最適ラグランジュ乗数が無限大である可能性がある状況への複雑さ分析を拡張すること。
• 射影複雑さの観点から、補正ラグランジュ平滑化とネステロフ型平滑化の効率を比較すること。
• ラグランジュ乗数が無限大である場合のペナルティ法に基づく複雑さの証明を導出すること。

提案手法

• 不正確勾配法と補正ラグランジュ平滑化を組み合わせて、錐制約付き凸問題を解く。
• 有界な乗数がある状況で収束を高速化するために、ネステロフ型の平滑化技術を適用する。
• 単純なプライマル集合への射影回数に基づいて複雑さの境界を導出する。
• 高速勾配法とペナルティ戦略を組み合わせて、最適ラグランジュ乗数が無限大である場合に対処する。
• 部分問題の解法における不正確さと全体の収束複雑さの関係を分析する。
• 異なる平滑化およびペナルティ戦略に対して、O(1/ε)およびO(1/ε^{3/2})の射影回数に基づく複雑さの証明を確立する。

実験結果

リサーチクエスチョン

• RQ1 有界な乗数を持つ錐制約付き凸計画問題に対して、不正確勾配法と補正ラグランジュ平滑化を用いた場合の計算複雑さは何か？
• RQ2 有界な乗数下で、ネステロフ型平滑化は1次元ラグランジュ法における射影複雑さにどのように影響するか？
• RQ3 最適ラグランジュ乗数が無限大である場合に適用可能な複雑さの境界は何か？
• RQ4 最適ラグランジュ乗数が無限大である状況で、ペナルティ法とラグランジュ法の複雑さはどのように比較できるか？
• RQ5 部分問題の解法における不正確さを制御しながらも、良好な収束速度を維持できるか？

主な発見

• 有界な乗数を持つ不正確勾配法と補正ラグランジュ平滑化を用いた場合、ε-最適解に到達するにはO(1/ε)回の射影が必要である。
• 有界な乗数下でネステロフ型平滑化を用いた場合、ε-最適性に到達するにはO(1/ε^{3/2})回の射影が必要である。
• 最適ラグランジュ乗数が無限大である場合、ペナルティ法でもε-最適解に到達するにはO(1/ε^{3/2})回の射影が必要である。
• O(1/ε^{3/2})の複雑さは、高速勾配法と平滑化またはペナルティ技術の組み合わせに起因する。
• 部分問題の解法における近似誤差に対しても、結果はロバストであることが示された。
• 一般の錐制約を伴う錐凸計画問題における1次元法のタイトな複雑さ証明が得られた。