[論文レビュー] Distributed dual gradient methods and error bound conditions

Ion Necoara, Valentin Nedelcu|arXiv (Cornell University)|Jan 17, 2014

Stochastic Gradient Optimization Techniques参考文献 19被引用数 9

ひとこと要約

本稿では、線形制約付き分離型凸最適化問題に対して分散型デュアル速勾配法を提案し、平均プライマル列を用いることで、プライマル劣離度および実行可能性違反に対して、改善されたサブクアドレティック収束速度 O(1/k²) を達成する。追加的にリプシッツ勾配仮定を満たす場合、グローバル誤差バインディングを確立し、ハイブリッドアルゴリズムを用いてデュアルおよびプライマル劣離度の線形収束を導出する。最適電力潮流問題への適用により、既存手法を上回る性能が実証された。

ABSTRACT

In this paper we propose distributed dual gradient algorithms for linearly constrained separable convex problems and analyze their rate of convergence under different assumptions. Under the strong convexity assumption on the primal objective function we propose two distributed dual fast gradient schemes for which we prove sublinear rate of convergence for dual suboptimality but also primal suboptimality and feasibility violation for an average primal sequence or for the last generated primal iterate. Under the additional assumption of Lipshitz continuity of the gradient of the primal objective function we prove a global error bound type property for the dual problem and then we analyze a dual gradient scheme for which we derive global linear rate of convergence for both dual and primal suboptimality and primal feasibility violation. We also provide numerical simulations on optimal power flow problems.

研究の動機と目的

• 分離型凸問題に対して、既存の集中型またはデュアル手法よりも高速な収束速度を達成する分散型デュアル勾配アルゴリズムの開発を目的とする。
• 特に平均プライマル反復および最後の反復に対して、分散環境下でのデュアル劣離度およびプライマル実行可能性違反の収束速度を分析することを目的とする。
• リプシッツ勾配仮定の下でグローバル誤差バインディング条件を確立し、デュアルおよびプライマル劣離度の線形収束を可能にする。
• 中央集権的ステップサイズ選択を回避する分散実装を提供し、スケーラビリティおよび実用的効率を向上させることを目的とする。
• 最適電力潮流（DC-OPF）問題における数値シミュレーションを通じて、理論的改善の妥当性を検証することを目的とする。

提案手法

• デュアル分解に基づく分散型デュアル速勾配（DFG）アルゴリズムを提案し、局所的更新とデュアル変数反復を用い、分散型ステップサイズ選択を実装する。
• 最後のプライマル反復に対して O(1/k√k) 収束を達成するハイブリッドデュアル速勾配（H-DFG）アルゴリズムを導入し、標準的な O(1/k) 速度を上回る。
• 強い凸性およびリプシッツ連続勾配仮定の下で、デュアル問題にグローバル誤差バインディングを確立し、非有界な多面体制約へも既存結果を拡張する。
• 滑らか化技術とデュアル部分勾配法を用い、デュアル反復からプライマル解を生成し、実行可能性と最適性を保証する。
• 各エージェントが局所的部分問題を解き、双方向にデュアル変数のみを通信する分散実装を採用し、中央集権的調整を回避する。
• 理論的反復複雑度バウンドを導出し、収束速度推定器を用いて実際の性能と比較する。

実験結果

リサーチクエスチョン

• RQ1 分散型デュアル勾配手法は、分離型凸問題に対して、既存の O(1/k) 手法よりも高速な収束速度を達成できるか？
• RQ2 強い凸性およびリプシッツ勾配仮定の導入により、グローバル誤差バインディングが得られ、デュアルおよびプライマル劣離度の線形収束が可能になるか？
• RQ3 中央集権的ステップサイズ選択を回避しつつ、速勾配手法の分散実装を設計可能か？ また、改善された収束速度を維持できるか？
• RQ4 提案手法は、大規模な最適電力潮流問題において、古典的デュアル勾配法および集中型手法と比較して、実際の性能で優れているか？
• RQ5 制約行列のスパarsity と分散型デュアル勾配手法の効率性の間にはどのような関係があるか？

主な発見

• 提案された分散型デュアル速勾配（DFG）アルゴリズムは、平均プライマル列を用いることで、プライマル劣離度および実行可能性違反の両方で O(1/k²) の収束速度を達成し、標準的な O(1/k) 速度を著しく上回る。
• ハイブリッドデュアル速勾配（H-DFG）アルゴリズムは、最後のプライマル反復に対して O(1/k√k) の収束速度を達成し、古典的デュアル勾配（DG）法の O(1/k) 速度を上回る高速な収束を示す。
• リプシッツ連続勾配および強い凸性の下で、デュアル問題はグローバル誤差バインディングを満たし、デュアルおよびプライマル劣離度の両方で線形収束が可能になる。
• 39母線ニューエングランドシステムにおける数値シミュレーションでは、DFG および H-DFG が古典的 DG 法および集中型バージョンを上回る性能を示し、テストケース pws1 において ε=0.01 の劣離度を達成するのに DFG は 4,486 回の反復（DG では 168,619 回）で十分であった。
• 問題サイズが増加するに従い、分散アルゴリズムは集中型手法よりも効率的である。これは、より高いスパarsity と、グローバルな L_d よりも大きな個別リプシッツ定数 L_d_i に起因する。
• DFG の理論的反復回数は実際の反復回数とよく一致しており、導出された収束速度推定の妥当性が裏付けられた。