[論文レビュー] Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning

Yuan Pu, Shaochen Wang+3 more|arXiv (Cornell University)|Apr 14, 2021

Reinforcement Learning in Robotics参考文献 18被引用数 12

ひとこと要約

本稿では、価値関数分解とソフトアクタクリティックの原則を組み合わせることで、協調的マルチエージェント強化学習における効率的なオフポリシー学習を可能にする、新規のマルチエージェントソフトアクタクリティック（mSAC）手法を提案する。線形に混合されたQネットワーク、分散型確率的方策、およびオプションの対照的アドバンテージ関数を用いることで、mSACはStarCraft IIのミクロマネジメントタスクにおいて最先端の性能を達成し、特に2c_vs_64zgやMMM2のような大規模な行動空間環境において、COMAを上回り、QMIXと同等の性能を発揮する。

ABSTRACT

Deep reinforcement learning methods have shown great performance on many challenging cooperative multi-agent tasks. Two main promising research directions are multi-agent value function decomposition and multi-agent policy gradients. In this paper, we propose a new decomposed multi-agent soft actor-critic (mSAC) method, which effectively combines the advantages of the aforementioned two methods. The main modules include decomposed Q network architecture, discrete probabilistic policy and counterfactual advantage function (optinal). Theoretically, mSAC supports efficient off-policy learning and addresses credit assignment problem partially in both discrete and continuous action spaces. Tested on StarCraft II micromanagement cooperative multiagent benchmark, we empirically investigate the performance of mSAC against its variants and analyze the effects of the different components. Experimental results demonstrate that mSAC significantly outperforms policy-based approach COMA, and achieves competitive results with SOTA value-based approach Qmix on most tasks in terms of asymptotic perfomance metric. In addition, mSAC achieves pretty good results on large action space tasks, such as 2c_vs_64zg and MMM2.

研究の動機と目的

• 集中学習・分散実行（CTDE）フレームワーク下での協調的マルチエージェント強化学習（MARL）における報酬割り当て問題とスケーラビリティの課題に対処すること。
• オフポリシーMARLにおける、ソフトアクタクリティックの高いサンプル効率と安定性を、価値関数分解手法と統合すること。
• 全方策分布の共同最適化を通じて、高次元行動空間における探索と方策最適化を向上させること。
• 複雑なマルチエージェント報酬割り当て状況における対照的アドバンテージ関数の有効性を調査すること。
• ポリシーに基づく（例：COMA）および価値に基づく（例：QMIX）最先端のMARL手法と比較して、同等または優れた性能を達成すること。

提案手法

• ジョイントQ値が、個々のQ値の線形混合によって得られるQネットワークアーキテクチャを採用し、各Q値は局所的観測と行動にのみ条件付けられる。
• 各エージェントに対して分散型確率的方策を用い、期待報酬とエントロピーを同時に最大化するようにソフトアクタクリティックにより学習する。
• 個々の行動がグローバルリターンに与える影響を推定することで報酬割り当てを改善するため、対照的アドバンテージ関数をオプションで適用する。
• 混合ネットワークは線形であり、グローバル状態にのみ依存するため、線形分解の理論的条件を満たす。
• 最大エントロピー強化学習フレームワークと経験リプレイを活用することで、効率的なオフポリシー学習を実現する。
• CTDE設定で学習を行う：価値推定には集中型クリティック、方策推論には分散型実行を採用する。

実験結果

リサーチクエスチョン

• RQ1 ソフトアクタクリティックと価値関数分解を組み合わせることで、協調的MARLにおける安定的かつサンプル効率の良いオフポリシー学習が可能になるか？
• RQ2 ε-greedyやグリーディ選択と比較して、高次元行動空間における探索に全方策分布を用いることはどれほど効果的か？
• RQ3 対照的アドバンテージ関数は、複雑で探索が難しい協調的タスクにおける報酬割り当てと性能に改善をもたらすか？
• RQ4 StarCraft IIのミクロマネジメントタスクにおいて、mSACはCOMA（ポリシーに基づく）およびQMIX（価値に基づく）と比較して、性能と安定性でどう異なるか？
• RQ5 mSACは2c_vs_64zg や MMM2 のような大規模な行動空間環境に十分に一般化できるか？

主な発見

• mSACは、すべてのStarCraft IIミクロマネジメントマップにおいて、ポリシーに基づく手法であるCOMAを著しく上回り、特に漸近的勝率と学習安定性の面で顕著な優位性を示す。
• 8m、1c3s5z、3m、3s5zなどの標準的なマップでは、mSACはQMIXと同等の漸近的性能を達成しており、最先端の価値ベース手法と同等の競争力を示している。
• 2c_vs_64zg や MMM2 のような大規模な行動空間タスクでは、mSACはQMIXを著しく上回る性能を発揮し、複雑な行動空間シナリオにおける優位性が顕著に現れている。
• 全方策分布を用いた探索は、特に高次元行動空間において、ε-greedy戦略よりもより効果的で構造的な探索を可能にする。
• 対照的アドバンテージ関数は、3s_vs_5z のような難しいタスクで性能を向上させるが、簡単な環境では影響が小さいため、複雑な報酬割り当て問題において特に重要であることが示唆される。
• ランダムシードによる学習安定性にばらつきがあり、一部の実行では最大90％の勝率を達成する一方で、他の実行では0％にとどまるため、困難なマップでは依然として探索が課題である。