[論文レビュー] Accelerated Hierarchical ADMM for Nonconvex Optimization in Multi-Agent Decision Making.

Xiaoxue Zhang, Jun Ma+4 more|arXiv (Cornell University)|Nov 1, 2020

Distributed Control Multi-Agent Systems被引用数 4

ひとこと要約

本稿では、無人航空機（UAV）の意思決定を特に対象として、非凸分散最適化を解くために、加速されたバリア法を組み合わせた階層的3ブロックADMMを提案する。スラック変数の導入と、外側ループのALMと内側ループの半プロキシマルADMMの組み合わせにより、定常点への収束が達成され、標準的手法に比べて計算効率が著しく向上する。

ABSTRACT

Distributed optimization is widely used to solve large-scale problems effectively in a localized and coordinated manner. Thus, it is noteworthy that the methodology of distributed model predictive control (DMPC) has become a promising approach to achieve effective outcomes; and particularly in decision-making tasks for multi-agent systems. However, the typical deployment of such DMPC frameworks would lead to involvement of nonlinear processes with a large number of nonconvex constraints. Noting all these attendant constraints and limitations, the development and innovation of a hierarchical three-block alternating direction method of multipliers (ADMM) approach is presented in the work here to solve the nonconvex optimization problem that arises for such a decision-making problem in multi-agent systems. Firstly thus, an additional slack variable is introduced to relax the original large-scale nonconvex optimization problem; such that the intractable nonconvex coupling constraints are suitably related to the distributed agents. Then, the approach with a hierarchical ADMM that contains outer loop iteration by the augmented Lagrangian method (ALM), and inner loop iteration by three-block semi-proximal ADMM, is utilized to solve the resulting relaxed nonconvex optimization problem. Additionally, it is shown that the appropriate desired stationary point exists for the procedures of the hierarchical stages for convergence in the algorithm. Next, the approximate optimization with a barrier method is then applied to accelerate the computational efficiency. Finally, a multi-agent system involving decision-making for multiple unmanned aerial vehicles (UAVs) is utilized to demonstrate the effectiveness of the proposed method in terms of attained performance and computational efficiency.

研究の動機と目的

• 結合制約を有する大規模非凸最適化問題を、マルチエージェント意思決定において解く課題に対処すること。
• 分散モデル予測制御（DMPC）フレームワークにおける非凸結合制約の計算不能性を克服すること。
• 分散エージェント協調を支援するスケーラブルで収束性を有する非凸最適化のアルゴリズムを開発すること。
• 階層的ADMMフレームワーク内でのバリア法加速により、計算効率を向上させること。
• 本手法の有効性を、現実世界のマルチUAV意思決定シナリオにおいて実証すること。

提案手法

• 元の非凸最適化問題を緩和するためにスラック変数を導入し、処理不能な結合制約を分散可能で取り扱いやすい構成に変換する。
• グローバル収束を確保するため、外側ループに増強ラグランジュ法（ALM）を採用した階層的ADMM構造を実装する。
• 局所的な部分問題を分散的に解くために、3ブロックの半プロキシマルADMMに基づく内側ループを採用する。
• 最適化中の収束速度を向上させ、計算効率を高めるために、近似バリア法を適用する。
• アルゴリズム構造と適切なステップサイズ選択を活用することで、定常点への収束を保証する。
• 各エージェントが局所部分問題を解きながら、双対変数と一貫性制約を通じて協調するように問題をエージェント間で分解する。

実験結果

リサーチクエスチョン

• RQ1 3ブロック更新を用いた階層的ADMMフレームワークは、マルチエージェントシステムにおける非凸分散最適化に対して収束を達成できるか？
• RQ2 スラック変数の導入は、分散意思決定における非凸結合制約の取り扱い可能性をどのように向上させるか？
• RQ3 提案されたADMMフレームワーク内でのバリア法近似は、計算速度と解の品質にどのような影響を与えるか？
• RQ4 非凸性と分散協調の下でも、アルゴリズムはどの程度収束保証を維持できるか？
• RQ5 本手法は、UAV編隊制御などの現実世界のマルチエージェントシナリオで、どの程度の性能を示すか？

主な発見

• ALMと半プロキシマル更新を組み合わせた提案された階層的ADMMは、与えられたアルゴリズム的構造のもとで定常点への収束を達成する。
• スラック変数の導入により、非凸結合制約が効果的に分離され、分散処理が可能になる。
• バリア法の近似により収束が著しく加速され、解の品質を損なわずに計算効率が向上する。
• マルチUAV意思決定シナリオにおいて、本手法は高い解の品質と高速な計算を両立して効果的に動作する。
• 非凸かつ大規模な問題条件が一般的に見られるマルチエージェントシステムにおいても、アルゴリズムは安定性と収束性を維持する。