[論文レビュー] FACMAC: Factored Multi-Agent Centralised Policy Gradients

Bei Peng, Tabish Rashid+5 more|arXiv (Cornell University)|Mar 14, 2020

Reinforcement Learning in Robotics参考文献 70被引用数 106

ひとこと要約

FACMAC は協調型 MARL のための中心化されたが分解されたクリティックと中心化勾配推定器を導入し、連続的および離散的な行動タスクを可能にし、複数ドメインにおいて MADDPG およびベースラインを上回る。

ABSTRACT

We propose FACtored Multi-Agent Centralised policy gradients (FACMAC), a new method for cooperative multi-agent reinforcement learning in both discrete and continuous action spaces. Like MADDPG, a popular multi-agent actor-critic method, our approach uses deep deterministic policy gradients to learn policies. However, FACMAC learns a centralised but factored critic, which combines per-agent utilities into the joint action-value function via a non-linear monotonic function, as in QMIX, a popular multi-agent Q-learning algorithm. However, unlike QMIX, there are no inherent constraints on factoring the critic. We thus also employ a nonmonotonic factorisation and empirically demonstrate that its increased representational capacity allows it to solve some tasks that cannot be solved with monolithic, or monotonically factored critics. In addition, FACMAC uses a centralised policy gradient estimator that optimises over the entire joint action space, rather than optimising over each agent's action space separately as in MADDPG. This allows for more coordinated policy changes and fully reaps the benefits of a centralised critic. We evaluate FACMAC on variants of the multi-agent particle environments, a novel multi-agent MuJoCo benchmark, and a challenging set of StarCraft II micromanagement tasks. Empirical results demonstrate FACMAC's superior performance over MADDPG and other baselines on all three domains.

研究の動機と目的

• 協調型マルチエージェント強化学習のための、スケーラブルな中心化だが因数分解された critic の動機づけと開発。
• 協調を高めるために全結合アクション空間全体でポリシー最適化を可能にする。
• 非単調な因数分解とより大きな表現能力の利点を示す。
• 難易度の高いタスクにおける離散・連続アクション空間の適用可能性を示す。

提案手法

• 各エージェントのユーティリティを(非)線形混合関数を介して結合する、中心化されたが分解されたクリティックを定義する。
• 全てのジョイントアクション空間で最適化する中心化勾配推定器を導入する。
• クリティックの単調（QMIX風）と非単調な因数分解の両方を検討する。
• Straight-Through 推定を用いたGumbel-Softmaxにより離散アクションに適応する。
• MAMuJoCo、Continuous Predator-Prey、SMAC などを含む連続・離散MARLベンチマークで評価する。

実験結果

リサーチクエスチョン

• RQ1 MARLにおいて、centralised but factored critic はモノリシックな批評家より協調を改善するか？
• RQ2 非単調な因数分解は複雑なタスクを解くためのより大きな表現能力を提供できるか？
• RQ3 中心化されたポリシー勾配推定が、エージェントごとの勾配と比較して学習に有利か？
• RQ4 FACMAC は連続と離散のアクションドメインでどのように性能を発揮し、エージェント数が増えるとどのようにスケールするか？

主な発見

• FACMAC は連続・離散協力タスクで MADDPG および他のベースラインを上回る。
• クリティックを因数分解することで、エージェント数/アクション数が増加するにつれてより良いスケーラビリティを実現。
• 非単調な因数分解は、単調またはモノリシックなクリティックが解けないタスクを解決できる。
• 中心化勾配推定は協調を改善し、単純・複雑なタスクで局所最適解を回避するのに役立つ。
• FACMAC はより多くのエージェント数と MAMuJoCo や SMAC のような複雑なドメインへスケールし、複数のマップでベースラインより強い性能を示す。