[論文レビュー] Payoff-Based Approach to Learning Generalized Nash Equilibria in Convex Games

Tatiana Tatarenko, Maryam Kamgarpour|arXiv (Cornell University)|Mar 12, 2017

Game Theory and Applications参考文献 29被引用数 4

ひとこと要約

本稿では、コンpactな凸制約集合を伴う凸ゲームにおける一般化ナッシュ均衡（GNE）を学習する分散型、報酬に基づくアルゴリズムを提案する。エージェントは局所的なコスト関数値および制約関数値と双対乗数のみを用い、厳密に凸なポテンシャル関数のもとでGNEへの収束を達成する。結合制約が存在しない場合には、ゲーム写像の厳密な単調性のもとで収束が保証され、強い単調性を満たす写像に対しては収束速度が確立されている。

ABSTRACT

We consider multi-agent decision making where each agent optimizes its convex cost function subject to individual and coupling constraints. The constraint sets are compact convex subsets of a Euclidean space. To learn Nash equilibria, we propose a novel distributed payoff-based algorithm, such that each agent uses information only about its cost function values and the constraint function values with their associated dual multiplier. We prove convergence of this algorithm to a Nash equilibrium, under the assumption that the game admits a strictly convex potential function. In the absence of coupling constraints, we prove convergence to Nash equilibria under significantly weaker assumptions, not requiring a potential function. Namely, strict monotonicity of the game mapping is sufficient for convergence. We also derive the convergence rate of the algorithm for strongly monotone game maps.

研究の動機と目的

• 報酬および制約情報のみを用いて、エージェントが一般化ナッシュ均衡（GNE）に収束できる分散学習アルゴリズムの開発。
• 勾配やオракルアクセスを完全に必要としないように、コスト関数値および制約関数値と双対乗数のみを用いることで、依存性の緩和。
• 従来の研究よりも弱い仮定のもとでGNEへの収束を確立すること、特に結合制約が存在しない場合の収束性の強化。
• ゲーム写像の強い単調性のもとでの収束速度の分析を行い、より広範なクラスのゲームへの適用可能性を拡張。

提案手法

• 各エージェントが観測したコスト関数値および制約関数値、ならびに双対乗数に基づいて戦略を更新する分散型報酬ベースのアルゴリズムを設計。
• 勾配の明示的計算を避けるために、関数評価のみを用いた投影勾配型更新則を採用。
• ゲーム内の結合制約を満たすために、双対乗数の更新メカニズムを導入し、解の妥当性を保証。
• 収束の分析にポテンシャル関数の概念を用い、ポテンシャル関数の厳密な凸性がGNEへの収束を保証することを証明。
• 結合制約が存在しない場合のゲーム写像の厳密単調性のもとで収束を確立するために、作用素の単調性理論を適用。
• Lyapunov解析および作用素論的ツールを用いて、ゲーム写像が強い単調性を満たす場合のアルゴリズムの収束速度を導出。

実験結果

リサーチクエスチョン

• RQ1 結合制約を伴う凸ゲームにおいて、分散型報酬ベースのアルゴリズムが一般化ナッシュ均衡に収束可能か？
• RQ2 GNEへの収束に十分な最小限の情報要件（例：コスト関数値および制約関数値のみ）は何か？
• RQ3 厳密に凸なポテンシャル関数の存在が、提案された報酬ベースのアルゴリズムの収束を保証するか？
• RQ4 ポテンシャル関数が存在しない場合、ゲーム写像の厳密単調性などの弱い仮定のもとで収束を確立できるか？
• RQ5 ゲーム写像が強い単調性を満たす場合のアルゴリズムの収束速度は何か？

主な発見

• ゲームに厳密に凸なポテンシャル関数が存在する場合、提案された報酬ベースのアルゴリズムは一般化ナッシュ均衡に収束する。
• 結合制約が存在しない場合、ゲーム写像の厳密単調性というより弱い仮定のもとで、ナッシュ均衡への収束が保証される。
• ゲーム写像が強い単調性を満たす場合、線形収束速度を達成するため、好都合な条件下で高速な収束が実現される。
• 本手法は最小限の情報（コスト関数値および制約関数値と双対乗数のみ）で動作するため、分散環境における実用性に優れる。
• 収束の証明は作用素論的ツールおよびLyapunov解析に依拠しており、コンパクトな凸制約集合のもとで堅牢性が保証される。
• 従来の報酬ベース学習手法を結合制約を伴うゲームへと拡張し、制約付きマルチエージェント最適化への適用範囲を広げた。