[論文レビュー] Iteration complexity analysis of dual first order methods for conic convex programming

Ion Necoara, Andrei Pătraşcu|arXiv (Cornell University)|Sep 4, 2014

Advanced Optimization Algorithms Research参考文献 22被引用数 8

ひとこと要約

この論文は、主目的の劣最適性と実行可能性違反を、最後の反復と平均化された主目的列の両方を用いて、錐凸プログラミングのためのデュアル一次順序法の反復複雑性解析を包括的に行っている。誤差バインディングまたはリプシッツ勾配仮定の下で、デュアル勾配法と高速勾配法の両方の線形収束レートを確立し、実際と理論の両方で最後の反復が平均化列よりも優れていることが多いことを示している。

ABSTRACT

In this paper we provide a detailed analysis of the iteration complexity of dual first order methods for solving conic convex problems. When it is difficult to project on the primal feasible set described by convex constraints, we use the Lagrangian relaxation to handle the complicated constraints and then, we apply dual first order algorithms for solving the corresponding dual problem. We give convergence analysis for dual first order algorithms (dual gradient and fast gradient algorithms): we provide sublinear or linear estimates on the primal suboptimality and feasibility violation of the generated approximate primal solutions. Our analysis relies on the Lipschitz property of the gradient of the dual function or an error bound property of the dual. Furthermore, the iteration complexity analysis is based on two types of approximate primal solutions: the last primal iterate or an average primal sequence.

研究の動機と目的

• 主目的の射影が困難な場合に、錐凸問題のためのデュアル一次順序法の詳細な収束解析を提供すること。
• 2種類の近似主目的解（最後の反復と平均列）を用いて、主目的の劣最適性と不実行性の観点から反復複雑性を特徴づけること。
• デュアル関数のリプシッツ勾配または誤差バインディング特性の下での収束レートを確立すること。
• 最後の反復と平均化された主目的列の実用的性能を比較し、前者がしばしばより速く収束することを示すこと。
• 特に最後の反復に関して、誤差バインディング条件の下での高速勾配スキームの線形収束に関する未解決の問いに答えること。

提案手法

• 主目的の実行可能集合への射影が計算的に困難な場合に、ラグランジュ緩和を用いて主問題をデュアル問題に変換する。
• 滑らかさまたはデュアル関数の誤差バインディング特性に依存して、デュアル勾配（DG）法とデュアル高速勾配（DFG）法を用いてデュアル問題を解く。
• 2種類の主目的近似解（最後の反復とエルゴディック（平均化）列）を分析する。
• デュアル問題の性質（デュアル勾配のリプシッツ連続性またはグローバル誤差バインディング）に基づいて、主目的の劣最適性と実行可能性違反の収束レートを導出する。
• 凸解析および一次順序最適化理論に裏打ちされた理論的分析を用い、反復回数 $k$ の観点から劣最適性と不実行性の推定値を含む。
• ネットワークユーティリティ最大化およびリソース割り当て問題に対する数値実験を通じて理論的結果を検証し、最後の反復と平均列を比較する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、デュアル一次順序法が錐凸問題における主目的の最後の反復で線形収束を達成するか？
• RQ2 デュアル一次順序法において、最後の反復の収束レートは平均化された主目的列のそれと比べてどのように異なるか？
• RQ3 デュアル高速勾配法は、最後の反復を用いて主目的の劣最適性と不実行性において $\mathcal{O}(1/k^2)$ のレートを達成できるか？
• RQ4 誤差バインディング性質が、デュアル勾配法の最後の反復における線形収束を保証する役割を果たすか？
• RQ5 理論的反復複雑性の上限が、収束速度の観点で実際の性能とどの程度一致するか？

主な発見

• 強い凸性を有する主目的問題で、デュアル勾配がリプシッツ連続である場合、デュアル勾配法は最後の反復で $\mathcal{O}(1/\sqrt{k})$ の劣線形レートを達成し、平均列では $\mathcal{O}(1/k)$ を達成する。
• 同じ仮定の下で、デュアル高速勾配法は平均列では $\mathcal{O}(1/k^2)$ のレートを達成し、最後の反復では $\mathcal{O}(1/k)$ を達成する。
• デュアル問題がグローバル誤差バインディング条件を満たす場合、デュアル勾配法は最後の反復で線形収束を示し、数値実験でも確認されている。
• 数値結果から、デュアル一次順序法の最後の反復は、実際と理論の両方で平均列よりも通常速く収束することが示された。
• 収束レートの理論的推定値（例：DFGの $\mathcal{O}(1/k^2)$）は、特に最後の反復において、実際の性能とよく一致している。
• ボックス制約のない問題（$U = \mathbb{R}^n$）では、デュアル勾配法が最後の反復で線形収束を示し、理論的予測と一致している。