[論文レビュー] Exploration-Exploitation in Multi-Agent Competition: Convergence with Bounded Rationality

Stefanos Leonardos, Georgios Piliouras+1 more|arXiv (Cornell University)|Jun 24, 2021

Experimental Behavioral Economics Studies被引用数 11

ひとこと要約

本稿では、有界合理的性下におけるマルチエージェント競合ゲームに対して、収束性が保証されるアルゴリズムとして、ボルツマン探索を用いた滑らかなQ学習を提案する。重み付きゼロ和多項行列ゲームで正の探索率をとる場合、動的システムは一意な定量的応答均衡（QRE）に収束することが示され、パrameterチューニングやエージェント数依存性なしに均衡選択問題を解決する。

ABSTRACT

The interplay between exploration and exploitation in competitive multi-agent learning is still far from being well understood. Motivated by this, we study smooth Q-learning, a prototypical learning model that explicitly captures the balance between game rewards and exploration costs. We show that Q-learning always converges to the unique quantal-response equilibrium (QRE), the standard solution concept for games under bounded rationality, in weighted zero-sum polymatrix games with heterogeneous learning agents using positive exploration rates. Complementing recent results about convergence in weighted potential games, we show that fast convergence of Q-learning in competitive settings is obtained regardless of the number of agents and without any need for parameter fine-tuning. As showcased by our experiments in network zero-sum games, these theoretical results provide the necessary guarantees for an algorithmic approach to the currently open problem of equilibrium selection in competitive multi-agent settings.

研究の動機と目的

• 複数のナッシュ均衡を有する競合マルチエージェントシステムにおける均衡選択問題を解決すること。
• ネットワーク化されたゼロ和ゲームにおける、探索と活用のダイナミクスが収束性および結果選択に与える影響を理解すること。
• 有界合理的性の下でマルチエージェント競合設定における収束に対する理論的保証を提供すること。
• 正の探索率が、元来複数の均衡を有するゲームであっても、一意で安定した均衡をもたらすことを示すこと。
• 理論的収束と実用的均衡選択の間のギャップを、競合環境向け学習アルゴリズムにおいて埋めること。

提案手法

• 報酬最大化と探索のバランスを取るために、エージェント固有の探索率T_kを用いた滑らかなQ学習（ボルツマンQ学習）を採用する。
• 現在の戦略プロファイルと一意なQREとのKLダイバージェンスに基づくグローバルなリャプノフ関数を用いて収束を証明する。
• 連続時間更新ルールを用いてエージェントダイナミクスをモデル化する：dx_i / x_i = (r_i - r̄) - T_k (ln x_i - Σ x_j ln x_j)。これは報酬とエントロピーのトレードオフを捉える。
• 2人ゼロ和ゲームの一般化であるネットワーク化された重み付きゼロ和多項行列ゲームにおける収束を分析する。
• 異なる探索プロファイルおよびエージェント数を想定したネットワークゼロ和ゲームにおける実験を通じて理論的結果を検証する。
• 実証的分析により、探索率が0に近づく際の均衡選択を検討し、報酬の公平性および戦略選択に注目する。

実験結果

リサーチクエスチョン

• RQ1 正の探索率を有する滑らかなQ学習は、競合マルチエージェントネットワークにおいて一意な均衡に収束するか？
• RQ2 探索は、複数の均衡を有するゲームにおけるナッシュ均衡の選択にどのように影響するか？
• RQ3 エージェント数や均衡の多様性にかかわらず、パrameterチューニングなしに収束を保証できるか？
• RQ4 有界合理的性は、学習ダイナミクスおよび均衡結果にどのように寄与するか？
• RQ5 探索は、対称的競合設定において、より公平な報酬配分をもたらすことができるか？

主な発見

• 正の探索率を有する滑らかなQ学習は、初期条件やエージェント数にかかわらず、すべての重み付きゼロ和多項行列ゲームにおいて一意な定量的応答均衡（QRE）に収束する。
• KLダイバージェンスに基づくグローバルなリャプノフ論法により収束が保証され、均衡の安定性および一意性が証明される。
• すべてのエージェントが正の探索率を有する場合、極限サイクルを回避し、一意なQREに点収束する。これは、ナッシュ均衡が連続体を形成するゲームに対しても同様に成立する。
• 実験では、戦略的柔軟性を持つエージェント（例：3エージェントチェーンにおける偶数番目のエージェント）による探索が、対称エージェント（例：p1とp3）間で公平な報酬配分をもたらし、バランスの取れた均衡を選択することが示された。
• 探索なしでは、ダイナミクスは任意の均衡に収束し、報酬配分が任意になる可能性があるが、探索を導入することで、特定で公平な結果が選択される。
• 理論的および実証的結果から、探索が、競合状況における対称的かつ公平な結果を優遇する均衡選択のメカニズムとして機能することが示唆される。