[論文レビュー] Distributed Aggregative Optimization over Multi-Agent Networks

Xiuxian Li, Lihua Xie+1 more|arXiv (Cornell University)|May 27, 2020

Distributed Control Multi-Agent Systems参考文献 33被引用数 6

ひとこと要約

本稿は、局所的目的関数が個々の変数とすべてのエージェントの変数の平均の両方に依存する分散型集約最適化を導入する。Distributed Gradient Tracking (DGT) アルゴリズムを提案し、強い凸性およびバランスの取れた強連結な通信グラフの下で線形収束を達成する。これにより、マルチエージェントシステムにおける高速で分散型の最適化が可能になる。

ABSTRACT

This paper proposes a new framework for distributed optimization, called distributed aggregative optimization, which allows local objective functions to be dependent not only on their own decision variables, but also on the average of summable functions of decision variables of all other agents. To handle this problem, a distributed algorithm, called distributed gradient tracking (DGT), is proposed and analyzed, where the global objective function is strongly convex, and the communication graph is balanced and strongly connected. It is shown that the algorithm can converge to the optimal variable at a linear rate. A numerical example is provided to corroborate the theoretical result.

研究の動機と目的

• 個々の変数に加え、すべてのエージェントの変数の平均に依存する局所的目的関数を有する分散型最適化問題に対処すること。
• 中央集権的な調整なしに、エージェントが協調的にグローバルな目的関数を最小化できる分散型アルゴリズムを開発すること。
• 強い凸性およびバランスの取れた通信グラフなどの弱い仮定の下で、提案されたアルゴリズムの線形収束保証を確立すること。
• マルチエージェントシステムにおける集約最適化のための理論的枠組みと数値的検証を提供すること。

提案手法

• 各エージェントの目的関数が自らの変数とすべてのエージェントの変数の平均に依存する、分散型集約最適化と呼ばれる新しい問題定式化を提案する。
• 局所的勾配情報とグローバル平均の協調的推定を用いる、Distributed Gradient Tracking (DGT) アルゴリズムを開発する。
• 各エージェントが局所的通信を通じてグローバル平均を推定できるトラッキングメカニズムを採用する。
• 情報交換と収束を保証するため、固定されたバランスの取れた強連結な通信グラフを用いる。
• 反復行列の固有値特性を用いて収束を分析し、固有値解析により線形収束を証明する。
• 摂動技術を適用して、十分に小さなステップサイズに対してシステム行列のスペクトル半径が1未満であることを示し、線形収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 局所的目的関数がすべてのエージェントの変数の平均に依存する場合に、分散型最適化を拡張できるか？
• RQ2 このような集約最適化問題において、線形収束を達成できる分散型アルゴリズムは何か？
• RQ3 強い凸性やバランスの取れた通信グラフといった仮定が収束に与える影響は何か？
• RQ4 提案されたアルゴリズムは、現実的な数値例によって検証可能か？

主な発見

• DGTアルゴリズムは、グローバル目的関数の強い凸性およびバランスの取れた強連結な通信グラフの仮定の下で、線形収束レートを達成する。
• 十分に小さな正のステップサイズに対して、システム行列のスペクトル半径が1未満であることが示され、線形収束が保証される。
• アルゴリズムにより、各エージェントは局所的通信と勾配トラッキングを通じてグローバル平均を推定可能である。
• 数値結果から、すべてのエージェントの変数が速やかに最適位置に収束し、推定された平均が真の最適平均に収束することが示された。
• すべてのエージェントの位置の最適重心（平均）が、各エージェントによって正確に追跡されており、アルゴリズムの有効性が確認された。