[論文レビュー] On the linear convergence of distributed Nash equilibrium seeking for multi-cluster games under partial-decision information

Min Meng, Xiuxian Li|arXiv (Cornell University)|May 14, 2020

Distributed Control Multi-Agent Systems参考文献 32被引用数 12

ひとこと要約

本稿は、部分的意思決定情報下におけるマルチクラスタゲームにおけるナッシュ均衡（NE）探索のための離散時間分散型プロジェクション勾配トラッキングアルゴリズム（DPGT）を提案する。クラスタ内ではエージェントが協力し、クラスタ間では競争する。本アルゴリズムは、局所的情報とクラスタ間・クラスタ内通信を用いて、弱い条件下で重み付きフロベニウスノルムおよびユークリッドノルムを用いて、NEへの線形収束を保証する。

ABSTRACT

This paper considers the distributed strategy design for Nash equilibrium (NE) seeking in multi-cluster games under a partial-decision information scenario. In the considered game, there are multiple clusters and each cluster consists of a group of agents. A cluster is viewed as a virtual noncooperative player that aims to minimize its local payoff function and the agents in a cluster are the actual players that cooperate within the cluster to optimize the payoff function of the cluster through communication via a connected graph. In our setting, agents have only partial-decision information, that is, they only know local information and cannot have full access to opponents' decisions. To solve the NE seeking problem of this formulated game, a discrete-time distributed algorithm, called distributed gradient tracking algorithm (DGT), is devised based on the inter- and intra-communication of clusters. In the designed algorithm, each agent is equipped with strategy variables including its own strategy and estimates of other clusters' strategies. With the help of a weighted Fronbenius norm and a weighted Euclidean norm, theoretical analysis is presented to rigorously show the linear convergence of the algorithm. Finally, a numerical example is given to illustrate the proposed algorithm.

研究の動機と目的

• 部分的意思決定情報下におけるマルチクラスタゲームにおけるナッシュ均衡（NE）探索のための離散時間アルゴリズムに関するギャップを埋める。
• クラスタ内のエージェントが共通の報酬を最適化するために協力するが、クラスタは仮想プレイヤーとして競争するような状況をモデル化する。
• 中央管理者に依存せず、局所的情報のみで動作する分散型アルゴリズムを設計する。
• 弱い仮定の下で提案アルゴリズムの線形収束を確立し、実用的実装可能性を保証する。
• 重み付き行列ノルムを用いて収束速度および安定性を分析する理論的保証を提供する。

提案手法

• 各エージェントが自らの戦略と他のクラスタの戦略の推定値を維持する離散時間分散型プロジェクション勾配トラッキングアルゴリズム（DPGT）を提案する。
• クラスタ間通信を連結ネットワークを介して、クラスタ内通信を同じクラスタのエージェント間の連結グラフを介して統合する。
• アルゴリズムの収束行動を分析するために、重み付きフロベニウスノルムおよび重み付きユークリッドノルムを用いる。
• 制約を満たすために、勾配トラッキングと局所的可能戦略集合へのプロジェクションを組み合わせた更新則を設計する。
• スレーターの基準および対角優勢性を用いて、行列の固有値半径を分析し、収束条件を確立する。
• リャプノフ型関数と再帰的誤差バウンドを用いて、ステップサイズおよびネットワーク接続性に関する弱い仮定の下で線形収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 部分的意思決定情報下におけるマルチクラスタゲームにおけるナッシュ均衡（NE）探索のための離散時間分散型アルゴリズムが、線形収束を達成できるか？
• RQ2 クラスタ内のエージェントはどのように局所的通信を通じてクラスタの報酬関数の推定と最適化を行うか？
• RQ3 ステップサイズおよびネットワークトポロジーにどのような条件が線形収束を保証するか？
• RQ4 分散型マルチクラスタ環境において、勾配トラッキングをプロジェクションベースの更新とどのように統合できるか？
• RQ5 標準ノルムではなく、重み付き行列ノルムを用いて理論的収束保証を確立できるか？

主な発見

• 提案されたDPGTアルゴリズムは、勾配のリプシッツ連続性および局所的コスト関数の強い凸性といった弱い仮定の下で、ナッシュ均衡への線形収束を達成する。
• 戦略推定誤差には重み付きフロベニウスノルム、勾配トラッキング誤差には重み付きユークリッドノルムを用いて、線形収束が厳密に証明されている。
• ステップサイズ α が、固有値半径条件から導かれた厳密な上界を満たす場合、収束が保証される：α < min{ n/(4μ), 1/(√2(1+σ)L), √2σ²/((1−σ)L), (1−σ²)/(3√2σL), 2μ(1−σ)/(3nL²), √(2(1−σ²))/(√3 L) }。
• 収束速度は、構築された行列 Mα の固有値半径によって支配され、導出されたステップサイズ条件の下でその値が1未満であることが示された。
• コルヌー競争ゲームにおける数値結果により、線形収束およびDPGTアルゴリズムの実用的有効性が検証された。
• 理論的枠組みは、従来の連続時間手法を離散時間へと拡張し、通信制限のある実世界のマルチエージェントシステムにおけるより容易な実装を可能にする。