[論文レビュー] Qatten: A General Framework for Cooperative Multiagent Reinforcement Learning

Yaodong Yang, Jianye Hao+5 more|arXiv (Cornell University)|Feb 10, 2020

Reinforcement Learning in Robotics参考文献 10被引用数 108

ひとこと要約

Qatten は、マルチエージェントのグローバル Q 値をエージェント別の Q 値に分解する一般的なフレームワークを、多頭アテンションミキサーを用いて実現し、分散型ポリシー最適化を扱いやすくし、協調的 MARL における性能を向上させる。StarCraft II SMAC ベンチマークで実証。

ABSTRACT

In many real-world tasks, multiple agents must learn to coordinate with each other given their private observations and limited communication ability. Deep multiagent reinforcement learning (Deep-MARL) algorithms have shown superior performance in such challenging settings. One representative class of work is multiagent value decomposition, which decomposes the global shared multiagent Q-value $Q_{tot}$ into individual Q-values $Q^{i}$ to guide individuals' behaviors, i.e. VDN imposing an additive formation and QMIX adopting a monotonic assumption using an implicit mixing method. However, most of the previous efforts impose certain assumptions between $Q_{tot}$ and $Q^{i}$ and lack theoretical groundings. Besides, they do not explicitly consider the agent-level impact of individuals to the whole system when transforming individual $Q^{i}$s into $Q_{tot}$. In this paper, we theoretically derive a general formula of $Q_{tot}$ in terms of $Q^{i}$, based on which we can naturally implement a multi-head attention formation to approximate $Q_{tot}$, resulting in not only a refined representation of $Q_{tot}$ with an agent-level attention mechanism, but also a tractable maximization algorithm of decentralized policies. Extensive experiments demonstrate that our method outperforms state-of-the-art MARL methods on the widely adopted StarCraft benchmark across different scenarios, and attention analysis is further conducted with valuable insights.

研究の動機と目的

• 部分観測下での複数エージェントの協調と、限られた通信環境における課題を動機づける。
• グローバルなQ値 Q_tot を個々の Q^i に基づいて理論的に分解する。
• Q_tot を近似する実用的な多頭アテンションベースのミキシングネットワーク（Qatten）を提案する。
• CTDE の下で分散型ポリシーが中心化価値関数を最大化することを保証する。
• StarCraft II SMAC ベンチマークで優れた性能を示し、アテンション重みを分析する。

提案手法

• 分解式を導出する: Q_tot(s, a) ≈ c(s) + sum_h sum_i λ_{i,h}(s) Q^i(s, a^i).
• Q^i を Q_tot に結合する係数 λ_{i,h}(s) を近似するため、微分可能なキー-バリュー記憶と多頭アテンションを用いる。
• グローバル状態 s とエージェント特徴 u^i を条件として、エージェントレベルのミキシング重みを生成するアテンションベースのミキシングネットワークを組み込む。
• 単調性境界を緩和し表現能力を高めるため、加重ヘッド Q 値を導入するオプションを検討する。
• オフポリシー学習における扱いやすい最大化のため、IGM（個別-全体最大）性を維持して単調性を保つ。

実験結果

リサーチクエスチョン

• RQ1 各エージェント Q^i から principled に Q_tot を分解して、分散実行を前提とする効果的な中央集権的訓練を可能にできるか。
• RQ2 多頭アテンションは協調的 MARL におけるグローバルQ値へのエージェントレベルの影響を効果的にモデル化できるか。
• RQ3 提案手法 Qatten が難易度の高い StarCraft II SMAC ベンチマークで既存の MARL 手法を上回るか。
• RQ4 アテンション重み λ_{i,h} はタスク中のエージェントの役割と重要性をどのように反映し、洞察を得るために解釈できるか。

主な発見

• Qatten はさまざまなシナリオにおいて StarCraft SMAC ベンチマークで最先端の MARL 手法を上回ることが多く高い性能を示す。
• アテンションベースのミキシングネットワークは、複数のヘッドを介してエージェントレベルの影響を取り込むことで、Q_tot の表現を洗練させる。
• このアプローチは Q_tot と Q^i の単調性を保ち、分散実行下での全結合アクション値最大化を扱いやすくする。
• アブレーション研究により、重み付きヘッド Q 値が難しいシナリオで性能を向上させることが示され、非線形性の利点を示唆する。
• アテンション分析は、異なるヘッドが戦闘中の役割と健康状態に応じてエージェントに重みを割り当てる様子を明らかにする。