[論文レビュー] AI-QMIX: Attention and Imagination for Dynamic Multi-Agent Reinforcement Learning

Shariq Iqbal, Christian A. Schroeder de Witt+4 more|arXiv (Cornell University)|Jun 7, 2020

Reinforcement Learning in Robotics参考文献 19被引用数 16

ひとこと要約

本稿では、動的環境における可変なエージェント数やエンティティ数を想定し、注意メカニズムと想起された部分シナリオを用いたQMIXの拡張であるAI-QMIXを提案する。共有された部分チームのパターンを学習し、想起された構成における価値関数の分解を実施することで、グリッドワールドおよびStarCraftベースの環境において、多様なタスク設定に対してより優れた一般化性能を達成する。

ABSTRACT

Real world multi-agent tasks often involve varying types and quantities of agents and non-agent entities. Agents frequently do not know a priori how many other agents and non-agent entities they will need to interact with in order to complete a given task, requiring agents to generalize across a combinatorial number of task configurations with each potentially requiring different strategies. In this work, we tackle the problem of multi-agent reinforcement learning (MARL) in such dynamic scenarios. We hypothesize that, while the optimal behaviors in these scenarios with varying quantities and types of agents/entities are diverse, they may share common patterns within sub-teams of agents that are combined to form team behavior. As such, we propose a method that can learn these sub-group relationships and how they can be combined, ultimately improving knowledge sharing and generalization across scenarios. This method, Attentive-Imaginative QMIX, extends QMIX for dynamic MARL in two ways: 1) an attention mechanism that enables model sharing across variable sized scenarios and 2) a training objective that improves learning across scenarios with varying combinations of agent/entity types by factoring the value function into imagined sub-scenarios. We validate our approach on both a novel grid-world task as well as a version of the StarCraft Multi-Agent Challenge minimally modified for the dynamic scenario setting. The results in these domains validate the effectiveness of the two new components in generalizing across dynamic configurations of agents and entities.

研究の動機と目的

• エージェント数やエンティティ数、種別が予測不能に変動する動的環境におけるマルチエージェント強化学習（MARL）の課題に対処すること。
• 異なる戦略を要する組み合わせ的に大きなタスク設定の間での一般化を向上させること。
• 共通の部分チームパターンを特定・活用することで、可変サイズのシナリオ間での知識共有を可能にすること。
• 価値関数を想起された部分シナリオに分解する学習目的を設計し、学習効率を向上させること。
• グリッドワールドおよびStarCraft Multi-Agent Challengeタスクの動的バージョン上で手法を検証すること。

提案手法

• 可変サイズのシナリオにおいて、関連するエージェントやエンティティに動的に注目できる注目メカニズムを導入し、異なる構成間でのパラメータ共有を可能にする。
• エージェントおよびエンティティ種別の想起された組み合わせによって形成される部分シナリオに、グローバル価値関数を分解する学習目的を設計する。
• 想起された部分シナリオを用いて、多様な構成にわたる価値関数の訓練をより強固にし、一般化性能を向上させる。
• 注目ベースの価値分解と部分シナリオの分解を統合することで、モノトニック性とスケーラビリティを維持する形でQMIXフレームワークを拡張する。
• 経験リプレイとターゲットネットワークを用いて、注目モジュールが現在のチーム構成に基づき動的に情報をルーティングする形で、エンドツーエンドでモデルを訓練する。
• 動的一般化をテストするため、新規のグリッドワールド環境および改変されたStarCraft Multi-Agent Challengeに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 エージェント数やエンティティ数が動的に変化する状況において、注目メカニズムがMARLにおける一般化性能を向上させ得るか？
• RQ2 価値関数を想起された部分シナリオに分解することで、多様な構成にわたる学習効率およびパフォーマンスが向上するか？
• RQ3 部分チームのパターンをどれほど学習・再利用でき、動的マルチエージェントタスクのパフォーマンス向上に寄与できるか？
• RQ4 組み合わせ的に変動するエージェントおよびエンティティ構成を有する環境において、AI-QMIXは標準的なQMIXと比較してどのように性能を発揮するか？
• RQ5 提案手法は、学習中に観測されなかった構成に対しても一般化可能か？

主な発見

• AI-QMIXは、新規のグリッドワールド環境および改変されたStarCraft Multi-Agent Challengeにおいて、標準的なQMIXを上回り、より優れたサンプル効率と最終パフォーマンスを示した。
• 注目メカニズムにより、可変サイズのシナリオにおいて関連するエージェントやエンティティに動的に注目することで、有効な価値関数の近似が可能になった。
• 想起された部分シナリオを用いた学習目的は、一般化性能を顕著に向上させ、学習中に観測されなかった構成に対しても良好な性能を発揮できるようにした。
• 本手法は部分チームパターンを効果的に学習・活用でき、異なるエージェントおよびエンティティ種別の組み合わせ間での知識の転送を可能にした。
• 実験的結果から、AI-QMIXはベースライン手法と比較して、特に複雑で組み合わせ的に大きな設定において、より広範な動的構成にわたる一般化を達成できた。
• アブレーションスタディの結果、注目メカニズムと想起された部分シナリオの目的の両方が、パフォーマンス向上に独立的かつ相乗的に寄与していることが確認された。