[論文レビュー] Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning

Tabish Rashid, Mikayel Samvelyan+4 more|arXiv (Cornell University)|Mar 19, 2020

Reinforcement Learning in Robotics被引用数 429

ひとこと要約

QMIXは、分散実行を前提とした集中訓練のための価値ベースの手法で、各エージェントのQ値の単調なミックスを強制し、分散ポリシーの一貫性を保証します。StarCraft Multi-Agent Challenge (SMAC)で評価。

ABSTRACT

In many real-world settings, a team of agents must coordinate its behaviour while acting in a decentralised fashion. At the same time, it is often possible to train the agents in a centralised fashion where global state information is available and communication constraints are lifted. Learning joint action-values conditioned on extra state information is an attractive way to exploit centralised learning, but the best strategy for then extracting decentralised policies is unclear. Our solution is QMIX, a novel value-based method that can train decentralised policies in a centralised end-to-end fashion. QMIX employs a mixing network that estimates joint action-values as a monotonic combination of per-agent values. We structurally enforce that the joint-action value is monotonic in the per-agent values, through the use of non-negative weights in the mixing network, which guarantees consistency between the centralised and decentralised policies. To evaluate the performance of QMIX, we propose the StarCraft Multi-Agent Challenge (SMAC) as a new benchmark for deep multi-agent reinforcement learning. We evaluate QMIX on a challenging set of SMAC scenarios and show that it significantly outperforms existing multi-agent reinforcement learning methods.

研究の動機と目的

• 分散実行の下でエージェントチームの協調ポリシーの学習を促進する。
• エージェント数にスケールする、集中型だが要因化されたQ関数表現を提案する。
• 単調性ミキシングアーキテクチャを通じて、集中型と分散型ポリシーの一貫性を確保する。
• StarCraft II環境における深層マルチエージェント強化学習の挑戦的なベンチマークとしてSMACを紹介する。
• マルチエージェントRLアルゴリズムの評価のためのオープンソースフレームワーク(PyMARL)を提供する。

提案手法

• 各エージェントの値関数 Q_a をエージェントネットワークで表現する。
• エージェントのQ値をミキシングネットワークで結合して Q_tot を生成し、正の重みを用いることで単調性を強制する。
• グローバル状態をハイパーネットワークを介してミキシングネットワークの重みに条件づけ、状態依存のミキシングを可能にする。
• 単調性が、argmax Q_tot が各エージェントの argmax Q_a のスタックに等しいことを保証することを証明する。
• 展開時には分散実行を維持しつつ、中心化トレーニングを行うオフポリシー法を用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 各エージェントの値の単調なミキシングは、集中型のジョイントアクション選択と分散型エージェントアクションの一貫性を保証できるか？
• RQ2 単調性のある、ハイパーネットワーク条件付きのミキシングアーキテクチャ（QMIX）は、単純な加法分解（VDN）よりも、拡張可能でより豊かな中央集約Q関数のクラスを表すか？
• RQ3 QMIXは挑戦的なマルチエージェント協調タスクで既存手法を上回るか？
• RQ4 グローバル状態をハイパーネットワークで条件づけることが、SMACにおける性能と協調にどう影響するか？

主な発見

• QMIXはSMACのシナリオでIQL、VDN、COMAを絶対性能と学習速度の両面で上回る。
• ミキシングネットワークの単調性は、分散型のargmax が中央集権的なargmax と一致することを確実にするのに十分である。
• ハイパーネットワークで状態に条件づけることは、分散実行をスケーラブルに保ちながら、より豊かな中央集約値表現を可能にする。
• SMACの異種タスク全体で堅牢な性能を達成するには、柔軟な多層ミキシングネットワークが必要である。
• このフレームワークとベンチマーク（SMAC）は、グリッドワールド環境を超えた深層マルチエージェントRL手法の標準化評価を可能にする。