[論文レビュー] Gradient-Free Nash Equilibrium Seeking in N-Cluster Games with Uncoordinated Constant Step-Sizes

Yipeng Pang, Guoqiang Hu|arXiv (Cornell University)|Aug 30, 2020

Extremum Seeking Control Systems参考文献 56被引用数 10

ひとこと要約

本稿では、局所的コスト関数の勾配が明示的に入手できないが関数値の測定が可能なNクラスタ非協力ゲームに対して、勾配フリーなナッシュ均衡（NE）探索アルゴリズムを提案する。ガウススムージングと勾配追跡を組み合わせることで、クラスタ間で独立した定常ステップサイズを用いることが可能となり、強い単調性のもとで、唯一のNEの近傍への線形収束を達成する。誤差は最大ステップサイズおよびスムージングパラメータに比例する。

ABSTRACT

This work investigates a problem of simultaneous global cost minimization and Nash equilibrium seeking, which commonly exists in $N$-cluster non-cooperative games. Specifically, the agents in the same cluster collaborate to minimize a global cost function, being a summation of their individual cost functions, and jointly play a non-cooperative game with other clusters as players. For the problem settings, we suppose that the explicit analytical expressions of the agents' local cost functions are unknown, but the function values can be measured. We propose a gradient-free Nash equilibrium seeking algorithm by a synthesis of Gaussian smoothing techniques and gradient tracking. Furthermore, instead of using the uniform coordinated step-size, we allow the agents across different clusters to choose different constant step-sizes. When the largest step-size is sufficiently small, we prove a linear convergence of the agents' actions to a neighborhood of the unique Nash equilibrium under a strongly monotone game mapping condition, with the error gap being propotional to the largest step-size and the smoothing parameter. The performance of the proposed algorithm is validated by numerical simulations.

研究の動機と目的

• 局所的コスト関数の勾配が明示的に入手できないNクラスタ非協力ゲームにおけるナッシュ均衡探索を解決すること。
• 解析的情報が限られたシステムにおいて実用的かつ容易に導入可能な、関数値測定のみを用いる分散型アルゴリズムの開発。
• 異なるクラスタに属するエージェントが個別に自身の定常ステップサイズを独立して選択可能となるように設計し、調整の負荷を低減すること。
• 独立したステップサイズ選択と勾配フリーな設定のもとで収束保証を確立し、誤差バウンドを明確にすること。
• 接続性制御ゲームにおける数値シミュレーションを通じて、アルゴリズムの性能を検証すること。

提案手法

• 解析的表現が不明な場合に勾配を推定可能とするためにガウススムージングを統合し、勾配フリー最適化を可能にする。
• ゲームマッピングの真の勾配を推定するために勾配追跡を採用し、収束精度を向上させる。
• 各エージェントが局所的測定値と隣接エージェントの情報のみを用いて自身の行動を更新する分散型更新則を設計する。
• 各クラスタが別個の定常ステップサイズを用いることを許容し、ステップサイズ選択におけるグローバルな調整を不要にする。
• 安定性と収束性を保証するため、エージェント間の平均勾配を追跡するためのコセンサスベース構造を採用する。
• ナッシュ均衡の存在と一意性を保証するため、強い単調性を示すゲームマッピング条件を適用する。

実験結果

リサーチクエスチョン

• RQ1 関数値のみが利用可能な状況下で、Nクラスタゲームに対して勾配フリーなNE探索アルゴリズムを設計可能か？
• RQ2 クラスタ間で独立した定常ステップサイズを選択した場合、勾配フリーNE探索における収束性と誤差にどのような影響を与えるか？
• RQ3 独立したステップサイズと勾配フリーな条件下で、提案アルゴリズムの収束速度と誤差バウンドは何か？
• RQ4 ステップサイズとスムージングパラメータの関係が最終的な誤差ギャップに与える影響は何か？
• RQ5 提案アルゴリズムは、誤差を明確に定量化可能な近傍への線形収束を達成できるか？

主な発見

• 強い単調性を満たすゲームマッピング条件下で、提案アルゴリズムは唯一のナッシュ均衡の近傍への線形収束を達成する。
• エージェントの行動と真のNEとの間の誤差ギャップは、最大ステップサイズおよびスムージングパラメータに比例する。
• 最大ステップサイズが十分に小さい場合、勾配フリー動作にもかかわらず、安定的かつ高精度な収束を保証する。
• 接続性制御ゲームにおける数値シミュレーションにより、ステップサイズが大きいほど収束速度が向上し、ステップサイズの不均一性が低いほど性能が向上することが示された。
• 誤差ギャップは時間とともに線形に減少し、理論的な収束速度の予測が妥当であることを確認した。
• 異なるクラスタ間でステップサイズが不均一であっても、アルゴリズムは依然として有効であり、独立したステップサイズ選択に対するロバストネスを実証した。