[論文レビュー] Revisiting the Master-Slave Architecture in Multi-Agent Deep Reinforcement Learning

Xiangyu Kong, Bo Xin+2 more|arXiv (Cornell University)|Dec 20, 2017

Reinforcement Learning in Robotics参考文献 22被引用数 45

ひとこと要約

本論文では、ゲート付きコンポジション、学習可能な通信、独立した推論を組み合わせることで、グローバルなマスターエージェントとローカルなスレーブエージェントを統合し、集中型計画と分散型実行を統合するマスタースレーブ階層型ディープ強化学習フレームワークMS-MARLを提案する。この手法は、合成的およびStarCraftのミクロマネジメントタスクにおいて、最先端のMARL手法を上回る優れた性能を発揮し、より高速で安定した学習と、ピンサー・ムーブメントのような協調的行動の出現を示している。

ABSTRACT

Many tasks in artificial intelligence require the collaboration of multiple agents. We exam deep reinforcement learning for multi-agent domains. Recent research efforts often take the form of two seemingly conflicting perspectives, the decentralized perspective, where each agent is supposed to have its own controller; and the centralized perspective, where one assumes there is a larger model controlling all agents. In this regard, we revisit the idea of the master-slave architecture by incorporating both perspectives within one framework. Such a hierarchical structure naturally leverages advantages from one another. The idea of combining both perspectives is intuitive and can be well motivated from many real world systems, however, out of a variety of possible realizations, we highlights three key ingredients, i.e. composed action representation, learnable communication and independent reasoning. With network designs to facilitate these explicitly, our proposal consistently outperforms latest competing methods both in synthetic experiments and when applied to challenging StarCraft micromanagement tasks.

研究の動機と目的

• 大規模で幾何学的に複雑な状態行動空間を有するマルチエージェント環境へのディープ強化学習のスケーリングの挑戦に取り組むこと。
• 独立エージェント（分散型）とグローバル制御（集中型）の相反する視点を、階層的フレームワークによって統合することで、それらを調和させること。
• 効果的な通信と協調的意思決定を可能にするスケーラブルで学習可能なアーキテクチャを設計すること。
• 特にStarCraftのミクロマネジメントシナリオにおいて、挑戦的なマルチエージェントタスク上でフレームワークを実証的に検証すること。

提案手法

• フレームワークはマスタースレーブ階層を採用：グローバル状態の認識を持つ中央のマスターエージェントと、ローカル観測を持つ複数のスレーブエージェント。
• 各エージェントは再帰的ニューラルネットワーク（RNN）を用いて内部表現を維持し、時間経過に伴う個々の「思考」をモデル化する。
• ゲート付きコンポジションモジュール（GCM）がマスターのグローバルポリシーと各スレーブのローカルポリシーを統合し、最終的な行動を生成する。
• 学習可能な通信により、マスターがスレーブに構造化されたメッセージを送信でき、単なる信号ブロードキャストを越えた協調性が向上する。
• マスターはグローバル状態とすべてのスレーブからのメッセージを受信する一方、各スレーブは自身のローカル状態とマスターからのメッセージを入力として使用する。
• ポリシーはポリシー勾配法により学習され、階層的ネットワーク全体のエンドツーエンド最適化が行われる。

実験結果

リサーチクエスチョン

• RQ1 統合されたマスタースレーブアーキテクチャは、ディープMARLにおける集中型計画と分散型実行の利点を効果的に統合できるか？
• RQ2 明示的な通信とゲート付き行動コンポジションは、CommNetなどのベースライン手法と比較して、マルチエージェント協調性をどのように向上させるか？
• RQ3 StarCraftミクロマネジメントのような複雑なタスクにおいて、階層的設計からどのような協調的行動が出現するか？
• RQ4 専用のマスターデータ（例：占有マップ）の導入は、学習の安定性とパフォーマンスにどのように影響を与えるか？

主な発見

• MS-MARLは、合成的およびStarCraftタスクにおいて、CommNetや他の競合手法と比較して著しく高速かつ安定した学習収束を達成している。
• 複数のStarCraftミクロマネジメントタスクにおいて、勝率とサンプル効率の両面で、最先端のMARLベースラインを一貫して上回っている。
• マスターエージェントは、敵の領域に向かってチームを誘導するような高レベル戦略的命令を発行するよう学習する一方、スレーブエージェントはローカルな位置決めと協調を担当する。
• フレームワークにより、15M vs. 16Mタスクにおいてピンサー・ムーブメントのような複雑な協調的行動が出現し、CommNetはしばしばこれを学習できない。
• アブレーションスタディの結果、明示的なマスターデータと学習可能な通信がパフォーマンス向上に不可欠であることが確認され、マスターのみのバージョンですでにCommNetを上回っている。
• 可視化結果から、ゲート付きコンポジション機構がグローバル戦略とローカル適応性を効果的にバランスさせ、一貫性のあるチーム行動を生み出していることが示された。