[論文レビュー] Convergence of Multi-Agent Learning with a Finite Step Size in General-Sum Games

Xinliang Song, Tonghan Wang+1 more|arXiv (Cornell University)|Mar 7, 2019

Reinforcement Learning in Robotics参考文献 24被引用数 4

ひとこと要約

本稿では、一般和ゲームにおける有限ステップサイズでナッシュ均衡への収束を保証する、勾配に基づくマルチエージェント学習アルゴリズムGA-SPPを提案する。従来の手法とは異なり、無限小の学習率を必要とせず、$m\times n$ 正定値半定値ゲーム、$2\times n$ ゲーム、$2\times 2$ ゲームにおいてもナッシュ均衡への収束を保証する。

ABSTRACT

Learning in a multi-agent system is challenging because agents are simultaneously learning and the environment is not stationary, undermining convergence guarantees. To address this challenge, this paper presents a new gradient-based learning algorithm, called Gradient Ascent with Shrinking Policy Prediction (GA-SPP), which augments the basic gradient ascent approach with the concept of shrinking policy prediction. The key idea behind this algorithm is that an agent adjusts its strategy in response to the forecasted strategy of the other agent, instead of its current one. GA-SPP is shown formally to have Nash convergence in larger settings than existing gradient-based multi-agent learning methods. Furthermore, unlike existing gradient-based methods, GA-SPP's theoretical guarantees do not assume the learning rate to be infinitesimal.

研究の動機と目的

• エージェントの同時学習が収束を損なう非ステーションナリティ環境におけるマルチエージェント学習の課題に対処する。
• 従来の勾配ベース手法が理論的収束のためには無限小の学習率を必要としているという制限を克服する。
• より広い一般和ゲームのクラスにおいて、ナッシュ均衡への収束に関するより強い理論的保証を提供する。
• IGA-PP やエキストラ勾配法などの既存のポリシー予測ベース手法を上回る、実用的で理論的根拠のあるアルゴリズムを開発する。
• 学習率や戦略射影に関する仮定を緩和することで、複雑な環境におけるより強固でスケーラブルなマルチエージェント学習を実現する。

提案手法

• 相手エージェントの戦略を予測し、その予測に基づいて自身の戦略を調整する、新たな勾配上昇アルゴリズム「勾配上昇と収縮ポリシー予測（GA-SPP）」を導入する。
• ポリシー更新レートとは異なる、収縮する予測長を用いることで、より高い柔軟性と強固な理論的保証を実現する。
• 各ステップで予測された相手戦略を有効な確率単体上に射影することで、戦略の有効性を保ち、ナッシュ収束を支援する。
• GA-SPPが $m\times n$ 正定値半定値ゲーム、$2\times n$ 一般和ゲームの部分クラス、$2\times 2$ 一般和ゲームにおいてナッシュ収束を形式的に証明する。
• 戦略の有効性を更新中に維持するため、凸射影作用素 $\Pi_{\bm{\Delta}}$ および $P_{\bm{\Delta}}(\bm{x}, \bm{v})$ を活用する。
• 収束保証を損なわずに有限の学習率 $\eta$ を統合し、従来の無限小ステップサイズの仮定を破る。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースのマルチエージェント学習アルゴリズムは、一般和ゲームにおいて有限学習率でナッシュ均衡への収束を達成できるか？
• RQ2 GA-SPP はどの一般和ゲームのクラスにおいてナッシュ均衡への収束を保証するか？
• RQ3 IGA-PP やエキストラ勾配法と比較して、収縮ポリシー予測は収束安定性と理論的保証をどのように向上させるか？
• RQ4 予測戦略を有効戦略空間に射影することは、ナッシュ均衡への収束をどのように向上させるか？
• RQ5 理論的範囲を超えた実験的設定において、GA-SPP は GIGA-WoLF や IGA-PP よりも優れた性能を示せるか？

主な発見

• GA-SPP は、$m\times n$ 正定値半定値ゲームにおいて、有限ステップサイズでナッシュ均衡への収束を保証する、最初の勾配上昇ベースのマルチエージェント学習アルゴリズムである。
• GA-SPP は、従来の手法よりも広いクラスのゲームにおいてナッシュ均衡への収束を保証し、$2\times n$ 一般和ゲームや $2\times 2$ ゲームを含む。
• 実験的結果から、GA-SPP は囚人のジレンマ、チキン、セックス・オブ・ザ・セックス、グーチョキパーなどのベンチマークゲームにおいてナッシュ均衡に収束することが示された。
• シャープリーのゲームや $2\times 3$ ゲームでは、GIGA-WoLF が失敗するのに対し、GA-SPP はナッシュ均衡に収束し、IGA-PP よりも収束安定性に優れた。
• 予測長が変化しても、GA-SPP はナッシュ均衡への収束を維持するが、IGA-PP は予測長に敏感であり、非均衡戦略に収束する可能性がある。
• 3人マッチング・ペニーでは、予測長を一定に保つと GA-SPP は収束に失敗するが、これは高次元非線形またはカオス的ダイナミクスにおいて限界があることを示している。