[論文レビュー] Distributed Nash Equilibrium Seeking Algorithm Design for Multi-Cluster Games with High-Order Players

Zhenhua Deng, Yangyang Liu|arXiv (Cornell University)|Jun 25, 2021

Distributed Control Multi-Agent Systems参考文献 30被引用数 6

ひとこと要約

本稿では、高次多エージェント系を含む多クラスターゲームにおける分散ナッシュ均衡探索アルゴリズムを提案する。プレイヤーは複雑な動的特性を有し、通信は隣接プレイヤー間でのみ行われる。勾配降下法と状態フィードバック、分散推定器を組み合わせることで、従来の手法が一次または二次の動的特性を仮定するか、全情報共有を要するのを克服し、ナッシュ均衡への指数的収束を保証する。

ABSTRACT

In this paper, a multi-cluster game with high-order players is investigated. Different from the well-known multi-cluster games, the dynamics of players are taken into account in our problem. Due to the high-order dynamics of players, existing algorithms for multi-cluster games cannot solve the problem. For purpose of seeking the Nash equilibrium of the game, we design a distributed algorithm based on gradient descent and state feedback, where a distributed estimator is embedded for the players to estimate the decisions of other players. Furthermore, we analyze the exponential convergence of the algorithm via variational analysis and Lyapunov stability theory. Finally, a numerical simulation verifies the effectiveness of our method.

研究の動機と目的

• 既存の多クラスターゲームアルゴリズムが高次プレイヤー動的特性を扱えないというギャップを解消すること。
• プレイヤーが全情報共有を避け、隣接プレイヤーとのみ情報交換を行う分散アルゴリズムを設計すること。
• 高次システム動的特性の複雑さにもかかわらず、ナッシュ均衡への指数的収束を保証すること。
• クラスタ内では分散最適化、クラスタ間では非協力的ゲームダイナミクスを統合することで、既存フレームワークを拡張すること。
• 電力系統やロボットネットワークなどの高次エージェントを有するサイバーフィジカルシステムにスケーラブルなソリューションを提供すること。

提案手法

• プレイヤーの意思決定を局所情報に基づき更新するため、勾配降下法と状態フィードバックを用いた分散アルゴリズムを設計する。
• 各プレイヤーが他のプレイヤーの意思決定を、隣接プレイヤーからのみの情報を使って推定できるように、分散推定器を統合する。
• 各プレイヤーの状態の4階微分がその制御入力に等しいという高次動的モデルを用いてアルゴリズムを定式化する。
• 変分解析とラプラシアン安定性理論を用いた収束解析により、指数的収束を確立する。
• 固定通信トポロジー下で、3つのクラスタ、各クラスタに4人のプレイヤーが含まれる多クラスターゲーム設定でアルゴリズムを実装する。
• 安定性と収束を保証するために、特定の利得（k1=1, k2=2, k3=1, ε=3.71, κ1=0.05, κ2=386）を用いてパrameterチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 高次プレイヤーを有する多クラスターゲームに対して、ナッシュ均衡への指数的収束を保証する分散アルゴリズムを設計できるか？
• RQ2 高次多エージェント系において、プレイヤーが隣接プレイヤーからのみの情報を使って他のプレイヤーの意思決定をどのように推定できるか？
• RQ3 既存の多クラスターゲームアルゴリズムに高次動的特性を組み込むために必要な修正は何か？
• RQ4 提案手法は、従来の手法と比較して収束速度および通信効率においてどのように異なるか？
• RQ5 高次動的特性が存在する条件下で、アルゴリズムが指数的収束を保証する条件は何か？

主な発見

• 提案手法は、従来の研究が漸近的収束にとどまるのとは異なり、ナッシュ均衡への指数的収束を保証する。
• 同じクラスタ内のプレイヤーが共通の意思決定に収束しており、クラスタ内協力が有効に機能していることが示された。
• 通信制限下でも収束が達成されており、隣接プレイヤー間でのみの情報交換で十分であることが確認された。
• 数値シミュレーションにより、すべてのプレイヤーの意思決定が図2に示すようにナッシュ均衡に収束することが確認された。
• 第四階微分系などの複雑な高次動的特性を持つプレイヤーに対しても、アルゴリズムは有効に機能することが示された。
• 状態フィードバックと分散推定器の導入により、推定精度と安定性が向上し、収束速度が向上した。