[論文レビュー] MA2QL: A Minimalist Approach to Fully Decentralized Multi-Agent Reinforcement Learning

Kefan Su, Siyuan Zhou+4 more|arXiv (Cornell University)|Sep 17, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

MA2QLは、非定常性を解消するためにエージェントがQ学習により順番にQ関数を更新する、最小限で完全に分散型のマルチエージェント強化学習アルゴリズムを提案する。独立Q学習（IQL）に対する最小限の変更にもかかわらず、多様な環境で一貫した性能向上を達成し、$\varepsilon$-収束条件の下で理論的にナッシュ均衡への収束を保証する。

ABSTRACT

Decentralized learning has shown great promise for cooperative multi-agent reinforcement learning (MARL). However, non-stationarity remains a significant challenge in fully decentralized learning. In the paper, we tackle the non-stationarity problem in the simplest and fundamental way and propose multi-agent alternate Q-learning (MA2QL), where agents take turns updating their Q-functions by Q-learning. MA2QL is a minimalist approach to fully decentralized cooperative MARL but is theoretically grounded. We prove that when each agent guarantees $\varepsilon$-convergence at each turn, their joint policy converges to a Nash equilibrium. In practice, MA2QL only requires minimal changes to independent Q-learning (IQL). We empirically evaluate MA2QL on a variety of cooperative multi-agent tasks. Results show MA2QL consistently outperforms IQL, which verifies the effectiveness of MA2QL, despite such minimal changes.

研究の動機と目的

• 完全に分散型の協調的マルチエージェント強化学習（MARL）における非定常性問題に対処すること。
• 独立Q学習（IQL）へのわずかな変更で済むが、理論的裏付けのある最小限のアプローチを開発すること。
• 交代型学習が複雑で部分的に観測可能な環境における学習を安定化させ、性能を向上させることを実証的に検証すること。
• 離散的および連続的アクション空間、完全観測および部分観測設定において、本手法のスケーラビリティとロバスト性を示すこと。

提案手法

• エージェントが標準的なQ学習を用いて順番にQ関数を更新し、各更新ターン中にすべてのエージェントが環境と相互作用する。
• 各エージェントが順番に更新される固定の学習スケジュールを導入することで、方策の更新を効果的に分離し、非定常性を低減する。
• 理論的分析により、各エージェントが自身の更新ターン中に$\varepsilon$-収束を達成すれば、連携方策はナッシュ均衡に収束することを証明する。
• アルゴリズムは最小限のコード変更で実装可能：IQLの学習ループにおいて、環境との相互作用とエージェントの更新の順序を入れ替えるだけ。
• 離散的アクション（例：MPE, SMAC）および連続的アクション（例：マルチエージェントMuJoCo）の両方の環境と互換性があり、DDPGを用いる。
• トレーニング中にグローバル状態や通信を一切使用せず、完全な分散性を維持する。

実験結果

リサーチクエスチョン

• RQ1 最小限で交代型の更新スケジュールが、完全に分散型MARLにおける学習を安定化させ、非定常性を軽減できるか？
• RQ2 交代型Q学習は、表形式のDec-POMDP設定においてナッシュ均衡に収束するか？
• RQ3 MA2QLは、IQLへのわずかなコード変更で、多様なMARLベンチマークでIQLを上回る性能を発揮できるか？
• RQ4 MA2QLはハイパーパramータの変動に強く、より大きなマルチエージェント環境へのスケーリングに対してもロバストか？
• RQ5 交代型学習スケジュールは、部分的に観測可能で高複雑性の環境でも性能を向上させるか？

主な発見

• 確率的ゲームでは、MA2QLはIQLに比べて著しく高速に収束し、安定性と収束速度の両面で優れた性能を示す。
• StarCraftマルチエージェントチャレンジ（SMAC）において、MA2QLはハードおよびスーパー・ハードマップ（$\mathtt{5m\_vs\_6m}$ および $\mathtt{corridor}$）でIQLを上回り、より高い勝利確率を達成した。
• マルチエージェントMuJoCoでは、15エージェントおよび17エージェントのタスクにおいて、MA2QLがIQLを一貫して上回り、優れたスケーラビリティとロバスト性を示した。
• ハイパーパramータのアブレーション実験では、異なる学習率やバッチサイズの条件下でも、MA2QLがIQLに優位性を保ち続けることが示され、ロバスト性が裏付けられた。
• 3エージェントHopperおよび3×2 HalfCheetahタスクにおいて、K（1ターンあたりの更新回数）が変化しても、MA2QLはIQLよりも優れた最終的性能を達成した。
• 理論的分析により、各エージェントが1ターンあたり$\varepsilon$-収束を達成する条件下で、MA2QLは表形式の設定においてナッシュ均衡に収束することが確認された。