[論文レビュー] A two-level distributed algorithm for nonconvex constrained optimization

Kaizhao Sun, Xu Andy Sun|arXiv (Cornell University)|Feb 20, 2019

Sparse and Compressive Sensing Techniques参考文献 78被引用数 10

ひとこと要約

本稿では、非凸な制約付き最適化問題に対して、内側の多ブロックADMMと外側の増大ラグランジュ法（ALM）を組み合わせた二段階分散アルゴリズムを提案する。このフレームワークにより、グローバルかつローカルな収束性が保証され、特に電力系統のようなネットワーク系において、並列処理が可能で収束性を保つ複雑な非凸問題の解決が可能になる。標準ADMMに比べて収束速度と妥当性の両面で優れており、安定性を維持している。

ABSTRACT

This paper aims to develop distributed algorithms for nonconvex optimization problems with complicated constraints associated with a network. The network can be a physical one, such as an electric power network, where the constraints are nonlinear power flow equations, or an abstract one that represents constraint couplings between decision variables of different agents. Despite the recent development of distributed algorithms for nonconvex programs, highly complicated constraints still pose a significant challenge in theory and practice. We first identify some difficulties with the existing algorithms based on the alternating direction method of multipliers (ADMM) for dealing with such problems. We then propose a reformulation that enables us to design a two-level algorithm, which embeds a specially structured three-block ADMM at the inner level in an augmented Lagrangian method (ALM) framework. Furthermore, we prove the global and local convergence as well as iteration complexity of this new scheme for general nonconvex constrained programs, and show that our analysis can be extended to handle more complicated multi-block inner-level problems. Finally, we demonstrate with computation that the new scheme provides convergent and parallelizable algorithms for various nonconvex applications, and is able to complement the performance of the state-of-the-art distributed algorithms in practice by achieving either faster convergence in optimality gap or in feasibility or both.

研究の動機と目的

• ネットワーキング結合を持つ非凸・多ブロック・制約付き最適化問題において、標準ADMMが収束保証を持たないという問題に対処すること。
• グローバル収束性と妥当性を維持しながら、エージェント間で並列計算が可能な分散アルゴリズムを開発すること。
• 電力システムなどの物理的ネットワークにおける非凸制約を扱う際、既存のADMMベースの手法に見られる限界を克服すること。
• 最適性ギャップと妥当性収束の両面で、最先端の分散アルゴリズムを補完するスケーラブルで頑健なフレームワークを提供すること。

提案手法

• 複雑な制約を分離できる二段階構造に元の非凸問題を再定式化し、分散的解法を可能にする。
• エージェント間での局所変数の並列更新を可能にするために、特別に構造化された三ブロックADMMを内側で使用する。
• グローバル収束性を確保し、制約結合を処理するために、内側ADMMを外側の増大ラグランジュ法（ALM）に埋め込む。
• 反復の安定化と収束性の向上を図るため、スラック変数と近接項を内側ADMMに導入する。
• 残差の閾値に基づいて、外側ALMステップでペナルティパラメータと双対変数を動的に更新し、収束を加速する。
• プライマル不可能性の残差ノルムに基づく収束基準を導入し、外側ステップの更新をトリガーする。

実験結果

リサーチクエスチョン

• RQ1 ADMMとALMを組み合わせた二段階アルゴリズムは、ネットワーキング結合を持つ一般の非凸制約付き最適化問題について、グローバル収束を達成できるか？
• RQ2 非凸問題に多ブロック構造と複雑な制約がある場合、なぜ標準ADMMは収束しないのか？
• RQ3 収束保証を損なわずに、分散非凸最適化における並列化をどのように実現できるか？
• RQ4 提案手法は、最先端の手法に比べて、最適性ギャップと妥当性収束の両面でどの程度収束速度を向上させられるか？
• RQ5 このアルゴリズムフレームワークは、三ブロックを越えるより複雑な多ブロック内側問題に対しても拡張可能か？

主な発見

• 二段階アルゴリズムは、標準ADMMが失敗する場合でさえ、一般の非凸制約付き計画問題についてグローバル収束とローカル収束を達成する。
• 最適性ギャップと妥当性の両面で、標準ADMMに比べて収束が速く、特に外側ステップでの双対変数更新後に顕著に向上する。
• テンソル低ランク近似の実験では、二段階手法はADMM-gに比べてプライマル残差（不可能性）をはるかに速く低減し、約500回の内側反復で高精度の妥当性を達成した。
• 低ランクテンソル回復における相対誤差は、ADMM-gと同等の水準に収束したが、初期段階ではわずかに遅めで、最適性は同等であった。
• フレームワークは頑健でスケーラブルであり、ADMMが収束が遅いか発散するような複雑な非凸問題に対しても対応可能である。
• 収束条件が満たされない場合の既存の文献における回避戦略の代替として、特に電力システムなどの実用的応用において有効である。