[論文レビュー] Q-value Path Decomposition for Deep Multiagent Reinforcement Learning

Yaodong Yang, Jianye Hao+6 more|arXiv (Cornell University)|Feb 10, 2020

Reinforcement Learning in Robotics参考文献 20被引用数 26

ひとこと要約

本論文は、軌道に沿った経路に沿ってグローバルQ値を個々のエージェントの寄与に分解するための統合勾配を用いる、Q値パス分解（QPD）を提案する。この手法は、協調的ディープマルチエージェント強化学習（MARL）におけるマルチエージェントの責任割り当て問題を解決し、特に3s5zや3s5z_vs_3s6zのような複雑で非均質な環境において、従来の手法が失敗する状況でも最先端の性能を達成する。

ABSTRACT

Recently, deep multiagent reinforcement learning (MARL) has become a highly active research area as many real-world problems can be inherently viewed as multiagent systems. A particularly interesting and widely applicable class of problems is the partially observable cooperative multiagent setting, in which a team of agents learns to coordinate their behaviors conditioning on their private observations and commonly shared global reward signals. One natural solution is to resort to the centralized training and decentralized execution paradigm. During centralized training, one key challenge is the multiagent credit assignment: how to allocate the global rewards for individual agent policies for better coordination towards maximizing system-level's benefits. In this paper, we propose a new method called Q-value Path Decomposition (QPD) to decompose the system's global Q-values into individual agents' Q-values. Unlike previous works which restrict the representation relation of the individual Q-values and the global one, we leverage the integrated gradient attribution technique into deep MARL to directly decompose global Q-values along trajectory paths to assign credits for agents. We evaluate QPD on the challenging StarCraft II micromanagement tasks and show that QPD achieves the state-of-the-art performance in both homogeneous and heterogeneous multiagent scenarios compared with existing cooperative MARL algorithms.

研究の動機と目的

• 協調的ディープマルチエージェント強化学習（MARL）におけるマルチエージェントの責任割り当て問題に取り組み、グローバル報酬を個々のエージェントに公平に割り当て、効果的な協調を実現すること。
• 従来の価値分解手法（例：VDN、QMIX、QTRAN）がグローバルQ値と個々のQ値の関係に制限的な関数形や仮定を課えるという限界を克服すること。
• 正確で自動的に導出された個々のQ値の監視信号を提供することにより、部分的に観測可能な協調的マルチエージェントシステムにおいて、集中型学習と分散型実行を効果的に組み合わせること。
• 従来の手法が困難または失敗するような、複雑で非均質なマルチエージェントシナリオにおける学習の安定性と性能を向上させること。

提案手法

• ディープラーニングにおける統合勾配の帰属割り当てを活用し、軌道に沿って各エージェントの状態行動ペアがグローバルQ値に与える寄与度を計算する。
• 集中学習中に、統合勾配に基づく帰属割り当てを個々のエージェントのQ値の監視信号として用いる。
• パス積分法を用いて、ベースライン（ゼロ入力）から実際の入力に沿って軌道パスに沿って補間することで、帰属割り当てを計算する。
• エージェント固有の特徴を連結することで、非均質なエージェント表現を保持し、価値関数推定を向上させるマルチチャネルクリティックを設計する。
• 高次元の連携状態行動特徴を扱えるように、集中型クリティックにモジュラーなネットワーク構造を採用し、学習の安定性を向上させる。
• 分解されたQ値をターゲットとして個々のQ値ネットワークを学習させることで、協調的な行動を示す分散型ポリシー実行を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統合勾配は、従来の価値分解手法と比較して、グローバルQ値を個々のエージェントの寄与に分解するより正確で汎用的な手法を提供できるか？
• RQ2 QPD手法における分解ステップ数が、複雑なマルチエージェント環境における性能と学習安定性に与える影響は何か？
• RQ3 QPDは、従来の手法が失敗するような、特に非均質的かつ高次元の挑戦的なStarCraft IIミクロマネジメントタスクにおいて、優れた協調ポリシーを学習できるか？
• RQ4 連結されたマルチチャネルクリティックの使用は、非均質なマルチエージェント環境における表現能力と性能を向上させるか？
• RQ5 QPDは、QMIX や QTRAN といった最先端のMARLアルゴリズムと比較して、勝率とポリシー協調性の質においてどの程度優れているか？

主な発見

• QPDは、テストされたすべてのStarCraft IIミクロマネジメントマップで最先端の性能を達成した。特に、従来の手法が失敗する高度に挑戦的な3s5zおよび3s5z_vs_3s6zシナリオでも同様に優れた性能を示した。
• 3s5zでは、QPDは非常に協調的なポリシーを学習した。具体的には、ゼラットが敵のゼラットを迂回してスレイヤーを最初に攻撃する戦術を実現した。これはQMIXがこのような複雑な協調行動を学習できなかったことと対照的である。
• 3s5z_vs_3s6zでは、QPDが唯一、勝利に至るポリシーを学習した。敵のユニットを引きつけるゼラットの協調的配置と、敵のスレイヤーへの的確な攻撃を成功させた。
• アブレーションスタディの結果、分解ステップ数が5の場合でも、10や25の場合と同等の性能を達成しており、QPDが正確な帰属割り当てを実現するために高い計算コストを必要としないことが示された。
• 連結されたマルチチャネルクリティックは、わずかに性能を向上させた。これは、エージェント固有の特徴表現を保持することで、価値関数学習が向上することを示している。
• QPDは、複雑で非均質な環境でも安定した性能を示し、均質的および非均質的なマルチエージェントシナリオにおいて、QMIX や QTRAN を上回った。