[論文レビュー] Cooperative Multi-Agent Transfer Learning with Level-Adaptive Credit Assignment

Tianze Zhou, Fubiao Zhang+11 more|arXiv (Cornell University)|Jun 1, 2021

Reinforcement Learning in Robotics参考文献 33被引用数 10

ひとこと要約

本論文は、レベル適応型トランスフォーマーと特化型ミキシングネットワーク（LA-QTransformer）を用いて、協調的知識の強固な転送を可能にする、協調的マルチエージェント強化学習のための新規フレームワークを提案する。多エージェント協調を適応的・エージェント固有のパターンに分解し、集団不変のエージェント設計（PIT）を用いることで、スターフィートリーオーIIのマイクロマネジメントタスクにおいて、転送あり・なしの両状況で最先端の性能を達成した。

ABSTRACT

Extending transfer learning to cooperative multi-agent reinforcement learning (MARL) has recently received much attention. In contrast to the single-agent setting, the coordination indispensable in cooperative MARL constrains each agent's policy. However, existing transfer methods focus exclusively on agent policy and ignores coordination knowledge. We propose a new architecture that realizes robust coordination knowledge transfer through appropriate decomposition of the overall coordination into several coordination patterns. We use a novel mixing network named level-adaptive QTransformer (LA-QTransformer) to realize agent coordination that considers credit assignment, with appropriate coordination patterns for different agents realized by a novel level-adaptive Transformer (LA-Transformer) dedicated to the transfer of coordination knowledge. In addition, we use a novel agent network named Population Invariant agent with Transformer (PIT) to realize the coordination transfer in more varieties of scenarios. Extensive experiments in StarCraft II micro-management show that LA-QTransformer together with PIT achieves superior performance compared with state-of-the-art baselines.

研究の動機と目的

• 既存の転送学習手法がエージェント方策の転送にのみ焦点を当てており、協調知識を無視しているという限界を是正すること。
• 異なるエージェント集団と協調パターンを有するタスク間で、強固な協調知識の転送を可能にすること。
• 動的エージェント集団をサポートし、多様なシナリオにおいて性能を維持するスケーラブルで汎用性の高いアーキテクチャの開発。
• 新たなミキシングネットワークを用いて多段階の協調パターンを明示的にモデル化することで、価値ベースのマルチエージェント強化学習における報酬割り当てを改善すること。
• アテンションメカニズムを用いてエンティティレベル特徴量に着目することで、異なるエージェント数にわたる協調知識の一般化を実現する集団不変エージェント構造の設計。

提案手法

• ハード注目またはハイブリッド特徴抽出を用いて、各エージェントに対して適切な協調レベル（例：ペアワイズ、トリプレット）を動的に同定・注目するレベル適応型トランスフォーマー（LA-Transformer）を導入する。
• LA-Transformerからの協調パターン統合を実現する新規ミキシングネットワークとして、価値ベースのマルチエージェント強化学習における強固な報酬割り当てを可能にするレベル適応型Qトランスフォーマー（LA-QTransformer）を設計する。
• エンティティレベル特徴量にアテンションメカニズムを活用することで、異なるエージェント数にわたる協調知識の一般化を実現する新規エージェントネットワークアーキテクチャ「集団不変トランスフォーマー付きエージェント（PIT）」を提案する。
• グローバル協調を再利用可能な協調パターンに分解することで、個々のポリシーを越えた構造的協調知識の転送を可能にする。
• 増加するエージェント数を伴うカリキュラムトレーニングを実装し、耐久性を検証するとともに、協調パターン学習の向上を図る。
• 単調性制約を満たすLA-QTransformerによる報酬割り当てを実装し、効果的な共同Q値推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 異なるエージェント集団を有する協調的マルチエージェントタスク間で、協調パターンを効果的に分解・転送できるか？
• RQ2 適応的・レベル特化型の協調パターンをサポートしつつ、適切な報酬割り当てを保証するミキシングネットワークをどのように設計できるか？
• RQ3 集団不変エージェントアーキテクチャが、異なるエージェント数にわたる協調知識をどの程度一般化できるか？
• RQ4 協調パターンの明示的モデリングは、エンドツーエンド方策転送と比較して、協調的マルチエージェント強化学習でより優れた転送性能をもたらすか？
• RQ5 カリキュラム学習は、複雑なマルチエージェント環境における協調パターンの発見と活用を向上させることができるか？

主な発見

• ハイブリッド注目を用いたLA-QTransformerは、5m（3m）スターフィートリーオーIIマップで97.1％の勝率を達成し、QMIX（95.3％）およびLA-QTransformer（ハード）（97.1％）を上回った。
• 5m6m（8m9m）シナリオでは、LA-QTransformer（ハイブリッド）が97.1％の勝率を記録し、QMIX（96.1％）およびLA-QTransformer（ハード）（96.9％）を顕著に上回った。
• 5m6m（8m9m）マップでは、事前学習なしで83.2％の勝率を達成し、優れた一般化性能と耐久性を示した。
• アブレーションスタディの結果、複数の標準トランスフォーマーをスタックしても性能向上が見られず、LA-Transformerが最適な協調レベルを明示的に捉えていることが確認された。
• PITエージェント設計により、異なるエージェント数にわたる協調知識の転送が効果的に可能となり、増加する集団サイズを伴うカリキュラムトレーニングによって検証された。
• 解釈可能性解析の結果、LA-TransformerがスターフィートリーオーIIにおいて、ペアワイズやトリプレット形成といった関連する協調パターンを正しく同定・活用していることが示された。