[論文レビュー] QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent\n Reinforcement Learning

Tabish Rashid, Mikayel Samvelyan+4 more|arXiv (Cornell University)|Mar 30, 2018

Reinforcement Learning in Robotics被引用数 475

ひとこと要約

QMIXは、中央集権的な単調性を持つ混合ネットワークを介して各エージェントのQ値を結合し、手頃で全球的に一貫したジョイントQ値を作成することで、分散型ポリシーを学習させ、多agent強化学習における協調を改善する。

ABSTRACT

In many real-world settings, a team of agents must coordinate their behaviour\nwhile acting in a decentralised way. At the same time, it is often possible to\ntrain the agents in a centralised fashion in a simulated or laboratory setting,\nwhere global state information is available and communication constraints are\nlifted. Learning joint action-values conditioned on extra state information is\nan attractive way to exploit centralised learning, but the best strategy for\nthen extracting decentralised policies is unclear. Our solution is QMIX, a\nnovel value-based method that can train decentralised policies in a centralised\nend-to-end fashion. QMIX employs a network that estimates joint action-values\nas a complex non-linear combination of per-agent values that condition only on\nlocal observations. We structurally enforce that the joint-action value is\nmonotonic in the per-agent values, which allows tractable maximisation of the\njoint action-value in off-policy learning, and guarantees consistency between\nthe centralised and decentralised policies. We evaluate QMIX on a challenging\nset of StarCraft II micromanagement tasks, and show that QMIX significantly\noutperforms existing value-based multi-agent reinforcement learning methods.\n

研究の動機と目的

• VDN のような加法分解を超えた、中央集権的訓練と分散実行の改善方法を動機づける。
• 各エージェントのQ値とジョイントQ値の間に単調な関係を課す混合ネットワークを提案する。
• 単調性が、中央集権的ポリシーと分散型ポリシー間で一貫したargmax決定を保証することを示す。
• 学習時にハイパーネットワークを通じて状態情報を活用し、混合ネットワークを形作る。
• QMIXをStarCraft IIのマイクロマネジメントタスクで経験的に評価し、IQLおよびVDNと比較する。

提案手法

• 各エージェントの価値関数Q_aを、局所観測と直前の行動を入力とするエージェントネットワークで表現する。
• 状態条件付きハイパーネットワーク（ハイパーネットワーク）によって重みが生成される単調な混合ネットワークを介してエージェント出力を混合し、Q_totを生成する。
• Q_totと各Q_aの間の部分順序の単調性を保証するため、混合ネットワークの重みの非負を課す。
• ターゲットネットワークを用いたQ_totに対するDQN風損失を最小化してエンドツーエンドで訓練し、ジョイントアクション上のオフポリシー最大化を可能にする。
• 状態sがハイパーネットワークを介してQ_totに影響を与えるようにしつつ、混合関数をエージェントQ値に対して単調に保つ。
• エージェント数に対して計算量が線形となる、実現可能なジョイントアクション最大化を達成する。

実験結果

リサーチクエスチョン

• RQ1 中央集権的で非線形な各エージェントQ値の混合は、よりリッチでかつ取り扱い可能なジョイントアクション値関数を生み出すことができるか？
• RQ2 Q_totと個々のQ_aの間の単調性を課すことは、中央集権的最大化と整合した分散化されたargmax決定を保証するか？
• RQ3 ハイパーネットワークを介して中央状態情報を組み込むことが学習と性能にどう影響するか？
• RQ4 複雑なマルチエージェントタスクでQMIXは独立Q学習やVDNをどの程度上回るか？
• RQ5 同種・異種エージェント集合におけるQMIXの表現能力はどの程度か？

主な発見

• QMIXはStarCraft IIのマイクロマネジメントタスクでIQLとVDNを上回り、特に異質エージェントタイプで顕著である。
• 単調性混合は、取り扱い可能なジョイントアクション値の最大化と分散型ポリシーの抽出を可能にする。
• 状態条件付きハイパーネットワークは、訓練中に混合ネットワークがグローバル情報に適応できるようにすることで性能を向上させる。
• 除去実験は、非線形混合と中央状態情報の両方が性能に寄与することを示し、特に異種設定で顕著である。
• 学習されたポリシーは、位置取りやフォーカスファイアなどVDNやIQLとは異なる協調的挙動を示す。