[論文レビュー] Multiagent Bidirectionally-Coordinated Nets for Learning to Play StarCraft Combat Games.

Peng Peng, Quan Yuan+5 more|arXiv (Cornell University)|Mar 29, 2017

Reinforcement Learning in Robotics参考文献 29被引用数 171

ひとこと要約

本稿では、スターフィートコンバットゲームにおけるAIエージェント間のスケーラブルで通信効率の高い協調行動を可能にする、ベクトル化されたアクタ・クリティックフレームワークを用いたマルチエージェント双方向協調ネットワーク、BiCNetを提案する。人間の示唆なしに、エージェント数や地形の違いに関係なく多様で人間らしい協調戦略を学習し、マルチエージェント戦闘シナリオで最先端の性能を達成する。

ABSTRACT

Real-world artificial intelligence (AI) applications often require multiple agents to work in a collaborative effort. Efficient learning for intra-agent communication and coordination is an indispensable step towards general AI. In this paper, we take StarCraft combat game as the test scenario, where the task is to coordinate multiple agents as a team to defeat their enemies. To maintain a scalable yet effective communication protocol, we introduce a multiagent bidirectionally-coordinated network (BiCNet ['bIknet]) with a vectorised extension of actor-critic formulation. We show that BiCNet can handle different types of combats under diverse terrains with arbitrary numbers of AI agents for both sides. Our analysis demonstrates that without any supervisions such as human demonstrations or labelled data, BiCNet could learn various types of coordination strategies that is similar to these of experienced game players. Moreover, BiCNet is easily adaptable to the tasks with heterogeneous agents. In our experiments, we evaluate our approach against multiple baselines under different scenarios; it shows state-of-the-art performance, and possesses potential values for large-scale real-world applications.

研究の動機と目的

• スターフィートのような複雑で動的な戦闘環境における複数のAIエージェント間で、効率的でスケーラブルな協調行動を可能にすること。
• エージェント数や地形の複雑さに関わらず、効果を保つ通信プロトコルの開発。
• 人間の示唆やラベル付きデータに依存せず、熟練者レベルのプレイを模倣する協調戦略の学習。
• 協力的戦闘タスクにおける異種エージェントのサポートにより、現実世界への応用可能性を高めること。
• リアルタイムストラテジーゲームにおけるマルチエージェント強化学習で最先端の性能を達成すること。

提案手法

• エージェント間の双方向通信を強化することで協調性を向上させる、マルチエージェントディープ強化学習フレームワークであるBiCNetを導入。
• エージェント数の変動に応じて効率的にスケーリングできる、アクタ・クリティックアルゴリズムのベクトル化拡張を採用。
• 双方向の情報交換を可能にする通信メカニズムを設計し、共同意思決定を向上。
• 通信効率と方策最適化のバランスを取るために、集中型クリティックと分散型実行を組み合わせ。
• 人間の示唆やラベル付きデータを一切使用せず、環境からのフィードバックによる自己教師付き学習に依存。
• 個々のポリシーを適応させつつも、共有の通信プロトコルを通じて共同協調を維持することで、異種エージェントをサポート。

実験結果

リサーチクエスチョン

• RQ1 人間の示唆なしに、マルチエージェントディープ強化学習フレームワークはスターフィート戦闘で効果的な協調戦略を学習できるか？
• RQ2 BiCNetの双方向通信メカニズムは、エージェント数や地形タイプの違いに応じてどの程度スケーリング可能か？
• RQ3 BiCNetは、熟練プレイで観察される人間らしい協調戦略をどの程度模倣できるか？
• RQ4 異なるエージェント数を想定した多様な戦闘シナリオにおいて、BiCNetは既存のベースラインと比較してどの程度の性能を示すか？
• RQ5 BiCNetは、協調効率を維持したまま、異種エージェントを含むタスクに一般化できるか？

主な発見

• BiCNetは、人間の示唆やラベル付きデータなしに、スターフィート戦闘で多様な協調戦略を効果的に学習した。
• フレームワークはエージェント数や地形タイプの違いに関係なく一般化し、多様な戦闘シナリオで高いパフォーマンスを維持した。
• 評価されたすべてのシナリオにおいて、複数のベースラインと比較して最先端の性能を達成した。
• 双方向通信メカニズムは、協調効率とチーム全体の意思決定を顕著に向上させた。
• モデルは異種エージェントへの高い適応性を示し、混合エージェントチームにおける効果的な協働を可能にした。
• ベクトル化されたアクタ・クリティック定式化により、大規模なマルチエージェントアプリケーションをサポートするスケーラブルな学習と推論が実現した。