[論文レビュー] Counterfactual Multi-Agent Policy Gradients

Jakob Foerster, Gregory Farquhar+3 more|arXiv (Cornell University)|May 24, 2017

Fuel Cells and Related Materials被引用数 478

ひとこと要約

COMA は、分散型ポリシーに対するクレジット割り当てを効果的に行えるよう、各エージェントごとの反事実ベースラインを持つ中央集権的クリティックを導入し、協調的マルチエージェント強化学習におけるクレジット割り当てを実現する。実装は分散化されたスタークラフトのミクロマネジメント課題で示される。

ABSTRACT

Cooperative multi-agent systems can be naturally used to model many real world problems, such as network packet routing and the coordination of autonomous vehicles. There is a great need for new reinforcement learning methods that can efficiently learn decentralised policies for such systems. To this end, we propose a new multi-agent actor-critic method called counterfactual multi-agent (COMA) policy gradients. COMA uses a centralised critic to estimate the Q-function and decentralised actors to optimise the agents' policies. In addition, to address the challenges of multi-agent credit assignment, it uses a counterfactual baseline that marginalises out a single agent's action, while keeping the other agents' actions fixed. COMA also uses a critic representation that allows the counterfactual baseline to be computed efficiently in a single forward pass. We evaluate COMA in the testbed of StarCraft unit micromanagement, using a decentralised variant with significant partial observability. COMA significantly improves average performance over other multi-agent actor-critic methods in this setting, and the best performing agents are competitive with state-of-the-art centralised controllers that get access to the full state.

研究の動機と目的

• 協調的マルチエージェント強化学習における分散型ポリシーの必要性を動機づけ、グローバル報酬下でのクレジット割り当てに対処する。
• COMAを提案する：中央集権的クリティックと反事実ベースラインを備えた多エージェント actor-critic 手法。
• 専門的なクリティック表現が、単一のフォワードパスで反事実ベースラインの効率的な計算を可能にすることを示す。
• 部分観測性を伴う分散型 StarCraft ミクロマネジメント課題で COMA を経験的に評価し、ベースラインと比較する。

提案手法

• joint action と状態情報を条件とする中央集権的クリティックを訓練時に使用する。
• エージェントの行動を周辺化しつつ他のエージェントの行動を固定して、利得 A^a(s,u) = Q(s,u) - sum_{u^a'} pi^a(u^a'|tau^a) Q(s,(u^{-a},u^a')) を形成する、エージェントごとの反事実ベースラインを定義する。
• 他のエージェントの行動を前提として、エージェントの各アクションに対するQ値を出力するクリティックを用いて、すべてのエージェントのQ値を効率的に計算し、1回のフォワードパスを可能にする。
• g = E_pi[ sum_a ∇_theta log pi^a(u^a|tau^a) A^a(s,u) ] によるポリシー勾配に基づいて手法を位置づける。
• QまたはV推定のターゲットネットワークを用いたTD(lambda)クリティックを、オンポリシー学習へ適応する。
• 部分観測性を伴うStarCraftのユニットミクロマネジメントでCOMAを経験的に評価し、IACベースラインおよび中央集権的制御と比較する。

実験結果

リサーチクエスチョン

• RQ1 共有グローバル報酬の下で、反事実ベースラインを備えた中央集権的クリティックは分散型エージェントのクレジット割り当てを改善するか？
• RQ2 COMA は標準的なマルチエージェント actor-critic ベースライン（IAC バリアント）を上回り、部分観測の StarCraft ミクロマネジメント課題で中央集権的コントローラと競争力を維持できるか？
• RQ3 提案された反事実ベースライン評価のためのクリティック表現は、実践的に有効か？
• RQ4 視野が制限された状態で、異なるマルチエージェントのチームサイズとマップ難易度でCOMAはどのように性能を示すか？

主な発見

• COMA はすべての StarCraft シナリオで勝率の点で IAC ベースラインを上回る。
• CENTRAL-QV ベースラインは COMA に敗れ、反事実ベースラインの重要性を示している。
• COMA は、トレーニング信号が形作られているため、中央の V ベースラインより学習が速く安定している。
• 最良の COMA エージェントは、全状態アクセスとマクロアクションが与えられた場合、最先端の中央集権的コントローラと競争力のある性能を達成する。
• アブレーション実験は、中央集権的クリティックと反事実ベースラインの組み合わせが、最終的な性能と学習効率にとって重要であることを示している。