[論文レビュー] MAgent: A Many-Agent Reinforcement Learning Platform for Artificial Collective Intelligence

Lianmin Zheng, Jiacheng Yang+4 more|arXiv (Cornell University)|Dec 2, 2017

Reinforcement Learning in Robotics参考文献 8被引用数 33

ひとこと要約

Magentaは、数百〜数百万のエージェントを同時に訓練できるスケーラブルな強化学習プラットフォームであり、自己組織的集団知能の研究を可能にする。カスタマイズ可能なエージェント、ドメイン特化言語による報酬ルール、リアルタイム可視化をサポートする大規模なマルチエージェント環境を備え、追跡、集積、戦闘などのタスクで、協力、競争、社会的行動といった自己組織的行動の出現を示している。

ABSTRACT

We introduce MAgent, a platform to support research and development of many-agent reinforcement learning. Unlike previous research platforms on single or multi-agent reinforcement learning, MAgent focuses on supporting the tasks and the applications that require hundreds to millions of agents. Within the interactions among a population of agents, it enables not only the study of learning algorithms for agents' optimal polices, but more importantly, the observation and understanding of individual agent's behaviors and social phenomena emerging from the AI society, including communication languages, leaderships, altruism. MAgent is highly scalable and can host up to one million agents on a single GPU server. MAgent also provides flexible configurations for AI researchers to design their customized environments and agents. In this demo, we present three environments designed on MAgent and show emerged collective intelligence by learning from scratch.

研究の動機と目的

• 数百〜数百万のエージェントを同時にサポートする大規模なマルチエージェント強化学習プラットフォームの不足に対処すること。
• AI社会における通信、リーダーシップ、利他行動などの自己組織的社会現象の研究を可能にすること。
• 訓練と集団知能の観察に適した、高スケーラビリティ、柔軟性、インタラクティブ性を備えた環境を提供すること。
• 大規模なマルチエージェント強化学習アルゴリズムの開発とベンチマークを支援すること。
• リアルタイムレンダリングと人間によるフィードバック制御を通じて、AI社会のインタラクティブな探索を促進すること。

提案手法

• 大規模なエージェント集団の高速シミュレーションを実現するC++ベースのグリッドワールドエンジンを採用する。
• ネットワーク共有とID埋め込みを活用し、1つのGPUで最大100万エージェントまでスケーラブルに拡張する。
• 論理式を用いてイベントと報酬を定義可能な報酬記述言語を導入（例：'捕食者が獲物を攻撃したら、捕食者に+1、獲物に-1を付与'）。
• Pythonインタフェースを通じて、状態空間、行動空間、属性をカスタマイズ可能な非均質なエージェントをサポートする。
• ズーム、パン、手動によるエージェント制御を備えたリアルタイムのビジュアルレンダリングを提供し、エージェント行動と環境ダイナミクスの観察を可能にする。
• パラメータ共有DQN、DRQN、A2Cなどのベースラインアルゴリズムを実装し、ベンチマークに用いる。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、1つのシミュレーションで数百〜数百万のエージェントをどのようにスケーリングできるか？
• RQ2 大規模なマルチエージェント相互作用から、協力、競争、リーダーシップといったどのような集団的行動が出現するか？
• RQ3 大規模なAI社会におけるセルフプレイ訓練から、自己組織的通信や社会的構造が出現するか？
• RQ4 カスタマイズ可能な報酬ルールとエージェント設定は、複雑な戦略の出現にどのように影響するか？
• RQ5 人間ユーザーは、リアルタイムで大規模なAI社会にどの程度インタラクティブに参加し、影響を与えることができるか？

主な発見

• Magentaは、1つのGPUで最大100万エージェントをシミュレートし、高いスケーラビリティを実証した。
• 追跡環境では、捕食者が獲物を囲む協力的行動を学習し、局所的協力を示した。
• 集積環境では、エージェントが食料を優先して摂取するが、近接すると相互攻撃に発展し、希少性下での競争を反映した。
• 戦闘環境では、セルフプレイ訓練を通じて包囲戦やゲリラ戦術といったハイブリッド戦術が発展した。
• プラットフォームはリアルタイム可視化と人間によるフィードバック制御を可能にし、ユーザーがエージェントを制御し、自己組織的ダイナミクスを観察できる。
• 報酬記述言語により、論理演算を用いて複雑な報酬構造を柔軟かつ表現的に指定可能となった。