[論文レビュー] Gradient-Tracking over Directed Graphs for solving Leaderless Multi-Cluster Games

Jan Zimmermann, Tatiana Tatarenko+2 more|arXiv (Cornell University)|Feb 18, 2021

Distributed Control Multi-Agent Systems参考文献 15被引用数 6

ひとこと要約

本稿は、有向通信グラフ上でリーダーレスのマルチクラスタゲームを解くための分散型で離散時間の勾配追跡アルゴリズムを提案する。エージェントがクラスタ内での勾配を共同で追跡し、クラスタ間で意思決定を交換することで、局所的ソーシャルウェルフェアの最適性を満たすナッシュ均衡への線形収束を達成する。これは、従来のリーダーフォロワー型や無向グラフの手法を一般化するものである。

ABSTRACT

We are concerned with finding Nash Equilibria in agent-based multi-cluster games, where agents are separated into distinct clusters. While the agents inside each cluster collaborate to achieve a common goal, the clusters are considered to be virtual players that compete against each other in a non-cooperative game with respect to a coupled cost function. In such scenarios, the inner-cluster problem and the game between the clusters need to be solved simultaneously. Therefore, the resulting inter-cluster Nash Equilibrium should also be a minimizer of the social welfare problem inside the clusters. In this work, this setup is cast as a distributed optimization problem with sparse state information. Hence, critical information, such as the agent's cost functions, remain private. We present a distributed algorithm that converges with a linear rate to the optimal solution. Furthermore, we apply our algorithm to an extended cournot game to verify our theoretical results.

研究の動機と目的

• クラスタ間で非協力的競争が行われるが、各クラスタ内ではエージェントが共同で総合的コストを最小化するマルチクラスタゲームを解くこと。
• 個々のコスト関数のプライバシーを保ちながら、スパarsな局所的通信で動作する分散型アルゴリズムを設計すること。
• 従来の勾配ベースの手法を、無向グラフやリーダーフォロワー構造にとどまらず、有向通信グラフへと拡張すること。
• 離散時間において線形収束レートを達成し、遅い収束や連続時間の代替手法を改善すること。
• 複数の工場と企業を含む拡張されたコーナットゲームのシミュレーションを通じて理論的結果を検証すること。

提案手法

• エージェントは、局所的意思決定推定用とクラスタ内での勾配追跡用の2つの変数を維持する。
• アルゴリズムは定数ステップサイズを用いるため、減少するステップサイズ法に比べて収束が速い。
• クラスタ間通信は有向グラフによってモデル化され、1つのクラスタに複数のエージェントが外部と通信可能である。
• 収束を証明するために、更新ダイナミクスを線形時不変状態空間系として近似する。
• 勾配追跡により、エージェントはクラスタ間をまたがる結合コスト関数の総合勾配を推定できる。
• 意思決定の一致がナッシュ均衡と局所的ソーシャルウェルフェアの最適性を同時に満たすことを保証する。

実験結果

リサーチクエスチョン

• RQ1 リーダーレスでマルチクラスタのゲーム設定において、分散型アルゴリズムがナッシュ均衡への線形収束を達成できるか？
• RQ2 勾配追跡を、マルチクラスタゲームにおける有向通信グラフに適応できるか？
• RQ3 アルゴリズムが同時にクラスタ間のナッシュ均衡とクラスタ内でのソーシャルウェルフェアの最適性を満たせるか？
• RQ4 収束速度と通信構造の観点から、リーダーフォロワー型アーキテクチャと比較して性能はどうなるか？
• RQ5 有向通信が収束性およびアルゴリズムのロバストネスに与える影響は何か？

主な発見

• 標準的な仮定、特にゲームマッピングの強い単調性のもとで、アルゴリズムは最適解へ線形収束する。
• 300イテレーション以内にエージェント間の意思決定の一致が達成され、全次元でエージェントの推定値間の絶対差が1.90×10⁻³未満である。
• 300イテレーション後に、エージェントの推定値と真のナッシュ均衡状態との間のノルム誤差は ǫ = ||x₁ − x*||₂ = 0.005 である。
• 同じステップサイズで、リーダーフォロワー法と同等の精度を300イテレーションで達成したのに対し、リーダーフォロワー法は500イテレーションを要したため、収束がより速いことが示された。
• 本手法は、任意の有向通信トポロジーを許容することで、従来のリーダーフォロワー型や無向グラフの手法を一般化している。
• 拡張されたコーナットゲームのシミュレーションにより、解がクラスタ間のナッシュ均衡とクラスタ内でのソーシャルウェルフェアの最適性の両方を満たしていることが確認された。