[論文レビュー] Distributed Nash Equilibrium Seeking over Time-Varying Directed Communication Networks

Duong Thuy Anh Nguyen, Duong Tung Nguyen+1 more|arXiv (Cornell University)|Jan 7, 2022

Mathematical and Theoretical Epidemiology and Ecology Models被引用数 11

ひとこと要約

本稿では、時間変動する有向通信ネットワーク上で、局所情報と行確率的混合行列のみを用いて、非協力的凸ゲームにおけるナッシュ均衡を求める分散型勾配プレー法を提案する。強い凸性とリプシッツ勾配の仮定の下で、均衡への幾何的収束を確立し、バランスの取れた行列やネットワーク全体の知識に依存しない、新規の収縮解析を用いる。

ABSTRACT

This paper proposes a distributed algorithm to find the Nash equilibrium in a class of non-cooperative convex games with partial-decision information. Our method employs a distributed projected gradient play approach alongside consensus dynamics, with individual agents minimizing their local costs through gradient steps and local information exchange with neighbors via a time-varying directed communication network. Addressing time-varying directed graphs presents significant challenges. Existing methods often circumvent this by focusing on static graphs or specific types of directed graphs or by requiring the stepsizes to scale with the Perron-Frobenius eigenvectors. In contrast, we establish novel results that provide a contraction property for the mixing terms associated with time-varying row-stochastic weight matrices. Our approach explicitly expresses the contraction coefficient based on the characteristics of the weight matrices and graph connectivity structures, rather than implicitly through the second-largest singular value of the weight matrix as in prior studies. The established results facilitate proving geometric convergence of the proposed algorithm and advance convergence analysis for distributed algorithms in time-varying directed communication networks. Numerical results on a Nash-Cournot game demonstrate the efficacy of the proposed method.

研究の動機と目的

• 他のエージェントの行動についての部分的情報しか持たない非協力的ゲームにおける分散型ナッシュ均衡（NE）探索の課題に対処する。
• 従来の手法が要求するバランスの取れた混合行列や、ペロン＝フロベニウス固有ベクトルといったネットワーク構造の全知識を必要としない限界を克服する。
• 実装が容易な行確率的混合行列の仮定に基づき、時間変動する有向グラフにおける収束を可能にする。
• 行確率的性質の下で混合項の収縮を特徴づける新規な収縮結果を確立し、収縮定数をネットワークの接続性および行列の特性と明示的に関連付ける。
• 強い凸性とリプシッツ連続勾配の下で、NEへの幾何的収束を保証し、高速な収束速度を実現する。

提案手法

• 各エージェントが自らの勾配と隣接エージェントからの局所情報のみを用いて、局所的コスト関数を最小化する離散時間分散型勾配プレー法を提案する。
• 時間変動する有向ネットワークにおける情報交換を、行確率的混合行列でモデル化し、全ネットワークの知識が不要な局所平均化を実現する。
• 共通認識ダイナミクスを用いた意思決定推定整合化機構を導入し、エージェントの共同戦略プロファイル推定を同期化する。
• 混合項のための新しい収縮不等式を導出し、共通認識誤差がネットワークの接続性および行列構造に依存する定数を用いて幾何的に減少することを示す。
• 強い凸性およびリプシッツ勾配条件の下で、変動不等式理論とゲーム写像の強単調性を用いて収束を分析する。
• ナッシュ＝クルノー競争モデルを用いてアルゴリズムを検証し、反復回数、実行時間、収束精度の観点から最先端手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 バランスの取れた混合行列やネットワーク全体の情報が不要な条件下で、時間変動する有向ネットワークにおける分散型NE探索アルゴリズムが幾何的収束を達成できるか？
• RQ2 行確率的混合行列は、時間変動する有向グラフにおいて、共通認識と収束をどのように可能にするか？
• RQ3 行確率的性質の下で、ネットワークの接続性および行列特性を用いて、混合項の収縮行動をどのように特徴づけられるか？
• RQ4 動的通信トポロジーに適用した場合、提案手法が既存手法に比べて計算効率および収束速度で優れているか？
• RQ5 局所情報と強い凸性およびリプシッツ勾配といった弱い仮定の下でも、幾何的収束を保証できるか？

主な発見

• 提案手法は、ネットワーク構造の全知識がなくても、時間変動する有向ネットワークにおいてナッシュ均衡への幾何的収束を達成する。
• 行確率的混合行列に対する新規な収縮結果を確立し、収縮定数をネットワークの接続性および行列特性の明示的関数として表現した。
• [5, Alg. 1]と比較して、収束速度および計算効率の両面で優れた性能を示し、反復回数と実行時間が少ない。
• α = 0.0005で1000回のシミュレーションにおいて、アルゴリズム1は平均10,404回の反復と4.62秒を要したのに対し、[5, Alg. 1]は25,358回の反復と29.59秒を要した。
• 時間変動するランダムグラフにおいても、収束誤差 ∥xᵏ−x*∥∞ < 1.0×10⁻⁵ を維持し、高速な収束を実現した。
• 各反復でペロン＝フロベニウス固有ベクトルを計算する計算コストの高いステップを回避し、反復あたりのコストを顕著に削減した。