[論文レビュー] Adaptive Approaches for Fully Distributed Nash Equilibrium Seeking in Networked Games

Maojiao Ye, Guoqiang Hu|arXiv (Cornell University)|Dec 1, 2019

Distributed Control Multi-Agent Systems参考文献 10被引用数 5

ひとこと要約

本稿では、多エージェントネットワークゲームにおける完全分散型ナッシュ均衡探索戦略を2つ提案する——ノードベースとエッジベースの適応制御則。コンSENSUS誤差（ノードベース）または通信グラフのエッジ（エッジベース）における重みを適応的に調整することにより、中央集権的パrameter依存を排除し、強い単調性を示す疑似勾配および連結された無向通信グラフという弱い条件下でも、ナッシュ均衡へのグローバル漸近的収束を保証する。

ABSTRACT

This paper considers the design of fully distributed Nash equilibrium seeking strategies for multi-agent games. To develop fully distributed seeking strategies, two adaptive control laws, including a node-based control law and an edge-based control law, are proposed. In the node-based adaptive strategy, each player adjusts their own weight on their procurable consensus error dynamically. Moreover, in the edge-based algorithm, the fully distributed strategy is designed by adjusting the weights on the edges of the communication graph adaptively. By utilizing LaSalle's invariance principle, it is shown that the Nash equilibrium is globally asymptotically stable by both strategies given that the players' objective functions are twice-continuously differentiable, the partial derivatives of the players' objective functions with respect to their own actions are globally Lipschitz, the pseudo-gradient vector of the game is strongly monotone and the communication network is undirected and connected. In addition, we further show that the edge-based method can be easily adapted to accommodate time-varying communication conditions, in which the communication network is switching among a set of undirected and connected graphs. In the last, a numerical example is given to illustrate the effectiveness of the proposed methods.

研究の動機と目的

• グローバルネットワーク情報に依存する中央集権的制御ゲインを必要とする従来のコンセンサスベースのナッシュ均衡探索手法の限界を解決する。
• 制御ゲインが個々のエージェントが共有や中央集権的知識なしに自律的に調整できる完全分散型アルゴリズムを開発する。
• スイッチング通信トポロジを許容するように適応性を備え、ネットワーク変化に強い耐性を確保する。
• 標準的なゲーム理論的仮定の下で、リャプノフ安定性およびラサールの不変性原理を用いて収束性を理論的裏付けする。

提案手法

• 各プレイヤーが自らのコンセンサス誤差における重みを、局所情報のみを用いて動的に調整するノードベース適応制御則を提案する。
• 通信エッジにおける重みを局所誤差ダイナミクスに基づき更新することで、完全分散型の協調を実現するエッジベース適応制御則を導入する。
• リャプノフに基づく安定性解析およびラサールの不変性原理を用いて、ナッシュ均衡のグローバル漸近的安定性を証明する。
• 時間変動するネットワークに適応させるために、エッジベース手法を、有限個の無向かつ連結な通信グラフの間でスイッチング可能な状態に拡張する。
• リプシッツ定数、ネットワークサイズ、グローバルトポロジの知識を一切必要としないアルゴリズムを設計し、プラグアンドプレイ性を確保する。
• 固定された特異摂動パrameterではなく、適応的ゲインを用いた二時間スケール構造を採用することで、中央集権的チューニングを回避する。

実験結果

リサーチクエスチョン

• RQ1 中央集権的制御ゲインやグローバルネットワーク情報に依存せずに、完全分散型ナッシュ均衡探索が達成可能か？
• RQ2 各エージェントが局所情報のみに依存して、自ら戦略を調整できる適応制御則はどのように設計可能か？
• RQ3 ネットワーク構造が時間とともに変化するスイッチング通信トポロジ下でも、提案手法は収束を維持可能か？
• RQ4 疑似勾配が強く単調的で、目的関数が滑らかである場合に、収束性についてどのような理論的保証が得られるか？
• RQ5 ノードベースとエッジベースの適応戦略は、収束特性およびネットワークダイナミクスへの耐性において、どのように比較されるか？

主な発見

• ノードベース適応戦略は、目的関数が2回連続微分可能で、偏導関数がグローバルリプシッツ的であり、疑似勾配が強く単調であるという仮定のもとで、ナッシュ均衡へのグローバル漸近的収束を達成する。
• エッジベース適応戦略はグローバル漸近的安定性を保証でき、スイッチング通信グラフに拡張可能であり、ネットワークが有限個の無向かつ連結なグラフの間でスイッチングしても収束を維持する。
• 数値シミュレーションにより、両戦略がプレイヤーの状態をナッシュ均衡に効果的に誘導することが確認された。$x_{i1}$および$x_{i2}$の軌道は、すべてのシナリオで均衡点に収束した。
• エッジベース手法における適応的重み$c_{ij}$および$ar{c}_{ij}$は、有限かつ非ゼロの値に収束し、発散を示さない安定な適応を示している。
• コンセンサス誤差変数$y_{ij1}$および$y_{ij2}$は、すべてのエージェントで均衡点に収束し、推定情報が真のナッシュ均衡と一致していることを確認した。
• 先行研究が近傍への収束しか達成できないのに対し、提案手法は、協調的または中央集権的制御ゲインを一切必要とせず、ナッシュ均衡への正確な収束を達成した。