[論文レビュー] Fast and Stable Nonconvex Constrained Distributed Optimization: The ELLADA Algorithm

Wentao Tang, Pródromos Daoutidis|arXiv (Cornell University)|Apr 4, 2020

Advanced Control Systems Optimization参考文献 61被引用数 5

ひとこと要約

本稿では、追加層構造、等式制約付き非凸NLP部分問題の不正確解法、および修正版アンドリュース加速を統合することで、非凸制約付き問題に対してグローバル収束を達成する新しい分散最適化アルゴリズム、ELLADAを提案する。この手法は、計算効率と安定性を確保し、証明可能な収束性と反復計算複雑度の上限を有する分散非線形モデル予測制御（NMPC）への応用に適している。

ABSTRACT

Distributed optimization, where the computations are performed in a localized and coordinated manner using multiple agents, is a promising approach for solving large-scale optimization problems, e.g., those arising in model predictive control (MPC) of large-scale plants. However, a distributed optimization algorithm that is computationally efficient, globally convergent, amenable to nonconvex constraints and general inter-subsystem interactions remains an open problem. In this paper, we combine three important modifications to the classical alternating direction method of multipliers (ADMM) for distributed optimization. Specifically, (i) an extra-layer architecture is adopted to accommodate nonconvexity and handle inequality constraints, (ii) equality-constrained nonlinear programming (NLP) problems are allowed to be solved approximately, and (iii) a modified Anderson acceleration is employed for reducing the number of iterations. Theoretical convergence towards stationary solutions and computational complexity of the proposed algorithm, named ELLADA, is established. Its application to distributed nonlinear MPC is also described and illustrated through a benchmark process system.

研究の動機と目的

• 大規模システムに適用可能な、非凸制約を有するグローバル収束性と計算効率性を両立する分散最適化アルゴリズムの不足を解消すること。
• 中央集権的または準中央集権的アーキテクチャを回避し、局所的なモデル情報とコーディネータによる協調のみを用いて分散非線形MPCを可能にすること。
• 古典的なADMMが非凸設定で反復回数が多く、収束が遅い問題を、強化された加速および緩和技術によって克服すること。
• 収束保証を維持したまま部分問題の不正確解法を許容し、1反復あたりの計算負荷を低減すること。

提案手法

• 非凸不等式制約および等式制約を処理するために、スラック変数を導入し、それらのゼロからの逸脱をペナルティ化する追加層構造を導入する。
• 各反復において、等式制約付き非線形計画（NLP）部分問題の不正確解法を許容することで、1反復あたりの計算コストを低減する。
• 双対変数に修正版アンドリュース加速を適用し、収束を加速するが、安定性と収束を保証するための保護措置を設ける。
• バリア補正ラグランジュ形式を用い、やや弱い仮定のもとで有界性と部分列収束の議論により収束を確立する。
• エージェントが局所部分問題を解き、コーディネータが全エージェントからの情報を用いて双対変数を更新する、プライム・デュアル構造を維持する。
• アンドリュース加速が反復を不安定化しないよう保証するためのセーフティガード基準を導入し、非凸性下でも収束を維持する。

実験結果

リサーチクエスチョン

• RQ1 一般のサブシステム間相互作用を有する非凸問題に対して、グローバル収束性を有する分散最適化アルゴリズムが、定常解に収束可能か？
• RQ2 収束性や最適性を損なわずに、部分問題の不正確解法をどのように許容できるか？
• RQ3 アンドリュース加速を非凸分散最適化に効果的に適応でき、反復回数を削減できるか？
• RQ4 提案手法の計算複雑度は、外部反復および内部反復の観点からどのように評価できるか？
• RQ5 追加層構造は、非凸制約を処理しつつ、分散構造を維持できるか？

主な発見

• ELLADAは、標準的な仮定のもとで、非凸制約付き分散最適化問題に対して定常解へのグローバル収束を達成する。
• ϵ-近似定常点に到達するまでに要する内部反復回数は、𝒪(ϵ⁻²⁽¹⁺ς⁾) に比例する。これは多項式時間の反復複雑度を示している。
• 部分問題が近似的に解かれても収束性が保たれ、1反復あたりの計算コストが顕著に低減される。
• 修正版アンドリュース加速により反復回数が効果的に削減され、有界性と部分列収束の議論によりバリア補正ラグランジュの収束が確立される。
• 計算的に効率的で安定しており、収束性と複雑度に関する理論的保証を有するため、分散NMPCのようなリアルタイム応用に適している。
• ベンチマークプロセス系での実験により、実用的応用性と分散非線形モデル予測制御における性能が実証された。