[論文レビュー] Distributed Nash Equilibrium Seeking by A Consensus Based Approach

Maojiao Ye, Guoqiang Hu|arXiv (Cornell University)|Feb 2, 2016

Distributed Control Multi-Agent Systems参考文献 34被引用数 10

ひとこと要約

本稿では、リーダーフォロwingコンセンサスプロトコルと勾配プレーを組み合わせることで、非協力的ゲームにおける分散型ナッシュ均衡探索戦略を提案する。この戦略により、プレイヤーは隣接プレイヤー間の通信のみでナッシュ均衡に収束可能である。非二次関数ゲームでは局所的収束性を保証し、二次関数ゲームでは弱い条件下でもグローバル指数的安定性を達成する。

ABSTRACT

In this paper, Nash equilibrium seeking among a network of players is considered. Different from many existing works on Nash equilibrium seeking in non-cooperative games, the players considered in this paper cannot directly observe the actions of the players who are not their neighbors. Instead, the players are supposed to be capable of communicating with each other via an undirected and connected communication graph. By a synthesis of a leader-following consensus protocol and the gradient play, a distributed Nash equilibrium seeking strategy is proposed for the non-cooperative games. Analytical analysis on the convergence of the players' actions to the Nash equilibrium is conducted via Lyapunov stability analysis. For games with non-quadratic payoffs, where multiple isolated Nash equilibria may coexist in the game, a local convergence result is derived under certain conditions. Then, a stronger condition is provided to derive a non-local convergence result for the non-quadratic games. For quadratic games, it is shown that the proposed seeking strategy enables the players' actions to converge to the Nash equilibrium globally under the given conditions. Numerical examples are provided to verify the effectiveness of the proposed seeking strategy.

研究の動機と目的

• プレイヤーが非隣接プレイヤーの行動を直接観測できない非協力的ゲームにおけるナッシュ均衡探索を扱う。
• 完全な通信の制限を克服し、無向かつ連結なネットワーク上での局所的、隣人同士の通信に限定した通信構造を活用する。
• 完全な情報が得られない状況下でも、プレイヤーが相手プレイヤーの行動を推定し、ナッシュ均衡に収束する分散型アルゴリズムを設計する。
• 非二次関数ゲームに対して局所的および非局所的収束保証を確立し、二次関数ゲームに対してはグローバル収束を達成する。
• リャプノフ解析を用いて安定性の解析的結果を提示し、数値シミュレーションにより検証する。

提案手法

• 非隣接プレイヤーの行動を推定するために、リーダーフォロイングコンセンサスプロトコルを統合し、通信を局所的に行う。
• 各プレイヤーが仮想リーダーとして機能し、自らの行動をブロードキャストすることで、ネットワーク全体のコンセンサス推定値を更新する。
• 推定された行動を用いて勾配プレー更新則を適用し、反復的に各プレイヤーの戦略を均衡点に近づける。
• コンセンサスと勾配プレーの両要素を統合した微分方程式系（式3）–（式4）を動的モデルとして定式化する。
• リャプノフ安定性解析を適用し、報酬関数およびネットワーク構造に関する特定の仮定の下で収束性を証明する。
• 局所的収束条件（定理1）、非局所的収束条件（定理2）、および二次関数ゲームにおけるグローバル指数的安定性（推論2）の導出を行う。

実験結果

リサーチクエスチョン

• RQ1 プレイヤーが隣接プレイヤー間でのみ通信する条件下で、非協力的ゲームにおいてナッシュ均衡を達成可能か？
• RQ2 非二次報酬関数を有するゲームにおいて、ナッシュ均衡への局所的収束を保証する条件は何か？
• RQ3 非二次関数ゲームにおいて非局所的収束を保証するには、どのようなより強い条件が必要か？
• RQ4 提案手法により、二次関数ゲームにおいてグローバル収束が保証されるか？
• RQ5 リーダーフォロイングコンセンサスと勾配プレーの組み合わせが、収束安定性および性能に与える影響は何か？

主な発見

• 非二次関数ゲームでは、リャプノフ安定性解析により、弱い仮定のもとでナッシュ均衡への局所的収束性が証明された。
• 非局所的収束が達成されるより強い条件が同定され、吸引領域が拡大された。
• 二次関数ゲームでは、提示された条件下でナッシュ均衡がグローバル指数的安定であることが保証された。
• 数値シミュレーションにより、3つの例すべてでナッシュ均衡への収束が確認された：初期状態が近い場合の局所的収束、初期状態が遠い場合の非局所的収束、二次ゲームにおけるグローバル収束。
• 例3では、ナッシュ均衡がグローバルに指数的安定であり、初期状態が -10 からでも、均衡点 [2.0147, 6.7766, 11.5385, 16.3004, 21.0623]T に収束した。
• 例2では初期値が20であったが、収束が確認され、初期状態が均衡から離れていても本手法のロバスト性が示された。