[論文レビュー] Bandit Online Learning of Nash Equilibria in Monotone Games

Tatiana Tatarenko, Maryam Kamgarpour|arXiv (Cornell University)|Sep 8, 2020

Advanced Bandit Algorithms Research参考文献 20被引用数 6

ひとこと要約

本稿は、強い単調性の代わりに弱い単調性条件のもとでナッシュ均衡に収束する、マルチエージェント凸ゲームのバンディットオンライン学習アルゴリズムを提案する。各エージェントは、自身のコスト関数や他のエージェントの戦略の関数形を知らなくても、実行された行動における局所的コスト関数値のみを用いて学習可能であり、ゼロサムゲーム、混合拡張、線形制約付きゲームなどに広く適用可能である。

ABSTRACT

We address online bandit learning of Nash equilibria in multi-agent convex games. We propose an algorithm whereby each agent uses only obtained values of her cost function at each joint played action, lacking any information of the functional form of her cost or other agents' costs or strategies. In contrast to past work where convergent algorithms required strong monotonicity, we prove that the algorithm converges to a Nash equilibrium under mere monotonicity assumption. The proposed algorithm extends the applicability of bandit learning in several games including zero-sum convex games with possibly unbounded action spaces, mixed extension of finite-action zero-sum games, as well as convex games with linear coupling constraints.

研究の動機と目的

• エージェントが自身のコスト関数や他のエージェントのコスト関数の関数形にアクセスできない状況において、マルチエージェント凸ゲームのためのバンディット学習アルゴリズムを開発すること。
• 従来の研究が強く単調性を要件としていたのとは異なり、最小限の単調性仮定のもとでナッシュ均衡への収束を達成すること。
• バンディット学習の適用範囲を、有界でない行動空間をもつゼロサム凸ゲームや線形結合制約付きゲームを含む、より広いクラスのゲームへと拡張すること。
• 各エージェントが、グローバル情報や勾配情報にアクセスせず、共同行動における観測されたコスト値のみに依存して戦略を更新する分散型学習を可能にすること。
• 従来のオンライン学習手法が完全情報が欠如しているために失敗する状況においても、収束の理論的保証を提供すること。

提案手法

• アルゴリズムはバンディットフィードバック機構を採用しており、各エージェントは共同行動における自身のコスト関数の値のみを観測し、勾配や関数形にはアクセスできない。
• 観測されたコスト値のみを用いた、オンライン勾配降下風の更新則を採用し、限られたフィードバックの下でバンドイット設定に適応させたものである。
• 収束の証明は、ゲームの作用素の単調性に依存しており、これにより最適応答ダイナミクスがナッシュ均衡へ向かって収束することが保証される。
• 各エージェントが他のエージェントの戦略を知らなくても、自身の観測したコストのみに基づいて戦略を更新する分散型設計がなされている。
• 有界でない行動空間や線形結合制約に対応するため、適切な射影および正則化技術を統合している。
• 理論的分析により、強く単調性を仮定せず、完全情報も不要な条件下でナッシュ均衡への収束が保証されている。

実験結果

リサーチクエスチョン

• RQ1 コスト関数の関数形を一切知らなくても、バンディットフィードバックのみを用いてマルチエージェント凸ゲームでナッシュ均衡への収束が達成可能か？
• RQ2 従来の研究が強く単調性を要件としていたのとは異なり、弱い単調性条件のもとでもアルゴリズムが収束するか？
• RQ3 提案手法は、有界でない行動空間をもつゼロサム凸ゲームへ適用可能か？
• RQ4 線形結合制約付きゲームにおいて、局所的コスト観測のみを用いても収束が保証されるか？
• RQ5 完全情報や強く単調な条件を要件としていた従来手法と比較して、分散型バンディット学習アプローチはどのように異なるか？

主な発見

• 本アルゴリズムは、従来の手法が強く単調性を要件としていたのとは異なり、単調性仮定のもとでナッシュ均衡に収束することが保証されている。これは、強く単調性よりも厳密に弱い条件である。
• 収束は、各共同行動におけるコスト関数の局所的値のみを観測することで達成され、勾配や関数形へのアクセスは不要である。
• 本手法は、行動空間が有界でない場合でもゼロサム凸ゲームに適用可能であり、このような状況におけるバンディット学習の適用範囲を拡張している。
• 本手法は、有限行動ゼロサムゲームの混合拡張に対しても有効であり、確率的戦略を用いたバンディット学習を可能にしている。
• 線形結合制約付き凸ゲームに対しても、単調性条件のもとで収束を維持する。
• 理論的分析により、調整やグローバル情報が不要であることが確認されており、分散型実装を支持している。