[論文レビュー] QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning

Tabish Rashid, Mikayel Samvelyan+4 more|arXiv (Cornell University)|Mar 30, 2018

Reinforcement Learning in Robotics参考文献 77被引用数 352

ひとこと要約

QMIXは、単調性を持つ混合ネットワークとハイパーネットワークを導入し、結合行動値を各エージェント値に因数分解して、集中学習と分散実行、そして扱いやすい argmax を実現します。StarCraft II のマイクロマネジメントタスクで IQL および VDN を上回ります。

ABSTRACT

In many real-world settings, a team of agents must coordinate their behaviour while acting in a decentralised way. At the same time, it is often possible to train the agents in a centralised fashion in a simulated or laboratory setting, where global state information is available and communication constraints are lifted. Learning joint action-values conditioned on extra state information is an attractive way to exploit centralised learning, but the best strategy for then extracting decentralised policies is unclear. Our solution is QMIX, a novel value-based method that can train decentralised policies in a centralised end-to-end fashion. QMIX employs a network that estimates joint action-values as a complex non-linear combination of per-agent values that condition only on local observations. We structurally enforce that the joint-action value is monotonic in the per-agent values, which allows tractable maximisation of the joint action-value in off-policy learning, and guarantees consistency between the centralised and decentralised policies. We evaluate QMIX on a challenging set of StarCraft II micromanagement tasks, and show that QMIX significantly outperforms existing value-based multi-agent reinforcement learning methods.

研究の動機と目的

• 部分観測性と分散実行の下で、協調型マルチエージェント環境における協調方針の学習を動機づける。
• エージェントによる分散した行動選択を保つ中央集中トレーニング手法を開発する。
• VDN を超える表現力を高めつつ、分散ポリシーのための扱いやすい argmax を維持する。
• トレーニング中に追加状態情報を活用して、結合行動価値推定を改善する。

提案手法

• 各エージェントの Q-value Q_a を、局所観測に基づくエージェントネットワークで表現する。
• モノトニック混合ネットワークを介してエージェント出力を混合して Q_tot を生成し、単調性を保証するために非負の重みを用いる。
• グローバル状態 s に条件付けられたハイパーネットワークを用いて混合ネットワークの重みとバイアスを生成し、状態条件付きの非線形混合を可能にする。
• ターゲットネットワークを用いた Q_tot に対する DQN 類の損失でエンドツーエンドに学習し、オフポリシー更新を可能にする。
• argmax の一貫性を維持する：argmax_u Q_tot(τ, u) は各エージェントの argmax のベクトルに等しく、分散した行動選択を可能にする。
• StarCraft II のマイクロマネジメントタスクで分散実行を前提とした中央集権的トレーニングを活用し、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 単調でありながら非線形な混合関数は、一貫した分散ポリシーを保証しつつ、中央集権的な行動価値関数のより豊かなクラスを表現できるのか？
• RQ2 ハイパーネットワークを介してグローバル状態で混合ネットワークを条件付けることは、VDN のような線形分解より性能を向上させるか？
• RQ3 QMIX の表現能力と状態情報が、ヘテロ設定における性能向上にどの程度寄与するか？
• RQ4 実際のマルチエージェントタスクで、QMIX はQ_tot のオフポリシー最大探索を扱いやすい状態に保つか？

主な発見

• QMIX は StarCraft II のマイクロマネジメントタスクで IQL および VDN を上回り、ヘテログエニアスなエージェントマップで顕著な改善を示す。
• QMIX は、試験されたマップ全体で、ベースライン手法より最終性能が高く、学習も速い。
• アブレーションは、中央状態情報と非線形混合の両方が性能に寄与し、特にヘテロ設定で顕著であることを示す。
• QMIX の単調混合は、実行時にエージェントごとの線形時間の argmax を可能にし、単純な和より豊かな結合行動価値を表現する。
• 学習されたポリシーは、脆弱なユニットを守るための配置など、VDN や IQL の挙動とは異なる協調的戦術を示す。