[論文レビュー] Multi-Agent Collaboration via Reward Attribution Decomposition

Tianjun Zhang, Huazhe Xu+5 more|arXiv (Cornell University)|Oct 16, 2020

Reinforcement Learning in Robotics参考文献 44被引用数 19

ひとこと要約

本稿では、マルチエージェント強化学習手法として、協調的Q学習（CollaQ）を提案する。この手法は、新規のマルチエージェント報酬割り当て（MARA）損失を用いて、各エージェントのQ関数を自己項と協調項に分解することで、分散型でサンプル効率の高い学習を可能にする。CollaQは、スターフィートのマップにおいてSOTA手法よりも40%高い勝率を達成し、再訓練なしにアドホックチームプレイでも30%の向上を示した。

ABSTRACT

Recent advances in multi-agent reinforcement learning (MARL) have achieved super-human performance in games like Quake 3 and Dota 2. Unfortunately, these techniques require orders-of-magnitude more training rounds than humans and don't generalize to new agent configurations even on the same game. In this work, we propose Collaborative Q-learning (CollaQ) that achieves state-of-the-art performance in the StarCraft multi-agent challenge and supports ad hoc team play. We first formulate multi-agent collaboration as a joint optimization on reward assignment and show that each agent has an approximately optimal policy that decomposes into two parts: one part that only relies on the agent's own state, and the other part that is related to states of nearby agents. Following this novel finding, CollaQ decomposes the Q-function of each agent into a self term and an interactive term, with a Multi-Agent Reward Attribution (MARA) loss that regularizes the training. CollaQ is evaluated on various StarCraft maps and shows that it outperforms existing state-of-the-art techniques (i.e., QMIX, QTRAN, and VDN) by improving the win rate by 40% with the same number of samples. In the more challenging ad hoc team play setting (i.e., reweight/add/remove units without re-training or finetuning), CollaQ outperforms previous SoTA by over 30%.

研究の動機と目的

• スターフィートのような複雑な環境において、既存のマルチエージェント強化学習（MARL）手法のサンプル非効率性と一般化性能の低さを解決すること。
• 再訓練やファインチューニングなしに、新しいチーム構成（アドホックチームプレイ）へのゼロショット一般化を可能にすること。
• エージェント間の暗黙の報酬割り当てに基づく、マルチエージェント協調の共同最適化としての定式化。
• 動的チーム編成下でも解釈可能性とパフォーマンスを維持する、分散型でエンドツーエンドで学習可能なアルゴリズムの開発。

提案手法

• 各エージェントのQ関数を2つの項に分解：$Q_i^{\text{alone}}(s_i)$（エージェント自身の状態にのみ依存）、$Q_i^{\text{collab}}(s_i, \mathcal{N}_i)$（周囲のエージェントの状態に依存）。
• 意味的意味を保持するため、MARA損失を用いて、通常のDQNと併用して両項を同時に学習。
• 仲間が近くにいない場合には$Q_i^{\text{collab}}(s_i, \cdot) = 0$を強制することで、協調項が関連する文脈でのみ活性化することを保証。
• 集中学習・分散実行を採用し、分解が近似的に最適な方策をもたらす理論的条件を活用。
• スターフィートIIマルチエージェントチャレンジにこの分解を適用し、エージェント間でのポリシー共有にエキスパートの混合を用いる。
• 動的チーム設定下での解釈可能性と耐性を維持するため、学習プロセスを正則化。

実験結果

リサーチクエスチョン

• RQ1 変動するチーム編成下でも、最適な連携行動を近似できる分散型Q関数を設計できるか？
• RQ2 自己項と協調項に報酬割り当てを分解することで、MARLにおけるサンプル効率と一般化性能が向上するか？
• RQ3 MARA損失は、エンドツーエンド学習を可能にしつつ、協調項の意味的意味を効果的に保持できるか？
• RQ4 本手法は、未知のユニットタイプや構成を持つアドホックチームプレイにどの程度一般化できるか？
• RQ5 QMIX、QTRAN、VDNといった既存のSOTA手法と比較して、分解が解釈可能性とパフォーマンスの両面でどのように向上するか？

主な発見

• CollaQは、同じ環境ステップ数を用いても、標準的なスターフィートマップにおいて、既存のSOTA手法（QMIX、QTRAN、VDN）よりも40%高い勝率を達成した。
• テスト時に新しいユニットが追加・交換・削除されるアドホックチームプレイ設定において、再訓練やファインチューニングなしに、以前のSOTAを30%以上上回った。
• アブレーションスタディの結果、MARA損失を除去すると性能が著しく低下し、協調項の意味的整合性を維持する上でその役割が不可欠であることが確認された。
• 可視化により、$Q_i^{\text{alone}}$と$Q_i^{\text{collab}}$の両項が解釈可能であることが確認され、後者は関連する仲間が存在する場合にのみ活性化していた。
• 本手法は新しいチーム編成に対しても効果的に一般化し、複雑で現実に近い状況下でのゼロショット適応性を示した。
• CollaQにおけるエキスパートの混合コンponentは、同じ設定下でQMIXを大きく上回るパフォーマンスを発揮した。