[論文レビュー] Evolutionary Population Curriculum for Scaling Multi-Agent Reinforcement Learning

Qian Long, Zihan Zhou+4 more|arXiv (Cornell University)|Mar 23, 2020

Reinforcement Learning in Robotics参考文献 52被引用数 38

ひとこと要約

本論文は Evolutionary Population Curriculum (EPC) を紹介する。EPC はカリキュラム学習の枠組みであり、エージェント集団を段階的に増やし、進化的な選択を用いて各段階の適応性を維持しながら多エージェント強化学習をスケールする。

ABSTRACT

In multi-agent games, the complexity of the environment can grow exponentially as the number of agents increases, so it is particularly challenging to learn good policies when the agent population is large. In this paper, we introduce Evolutionary Population Curriculum (EPC), a curriculum learning paradigm that scales up Multi-Agent Reinforcement Learning (MARL) by progressively increasing the population of training agents in a stage-wise manner. Furthermore, EPC uses an evolutionary approach to fix an objective misalignment issue throughout the curriculum: agents successfully trained in an early stage with a small population are not necessarily the best candidates for adapting to later stages with scaled populations. Concretely, EPC maintains multiple sets of agents in each stage, performs mix-and-match and fine-tuning over these sets and promotes the sets of agents with the best adaptability to the next stage. We implement EPC on a popular MARL algorithm, MADDPG, and empirically show that our approach consistently outperforms baselines by a large margin as the number of agents grows exponentially.

研究の動機と目的

• エージェント集団が指数的に大きくなる環境での学習の課題に動機づける。
• 可変数のエージェント数に一般化する集団不変のポリシー/クリティックアーキテクチャを提案する。
• カリキュラム段階間で目的の齟齬を解決するための進化的選択機構を導入する。
• 多様なマルチエージェントタスクに対してMADDPGに適用してEPCのスケーラビリティとロバスト性を示す。

提案手法

• 任意のエージェント数を扱えるよう、自己注意に基づく集団不変のQ関数とポリシーのアーキテクチャを採用する。
• 訓練をエージェント集団の増加と共に段階に分け、カリキュラムを形成する。
• 役割ごとにKセットの並列エージェントを維持し、セット間でミックスアンドマッチ（クロスオーバー）を行い拡張された集団を作成する。
• カリキュラム成長中の guided mutation operator として MARL ファインチューニングを使用する。
• 次の段階に適応を最も安定させたエージェントセットを、スケール化された環境全体での適応度に基づいて選択する進化的選択プロセスを適用する。
• MADDPG上でEPCを実証し、3つの環境でベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 MARLで安定性や性能を失うことなく、エージェント集団のスケーリングをどのように実現できるか？
• RQ2 進化的 mix-and-match アプローチは、単純なクローン化と比べてより大きな集団への適応を改善するか？
• RQ3 注意機構を用いた集団不変アーキテクチャは、任意のエージェント数に対してスケーラブルなMARL訓練をサポートできるか？
• RQ4 エージェント数が指数的に増加した場合、EPCはベーシックな集団カリキュラムや非カリキュラムのMARLベースラインに比べてどんな利得を提供するか？

主な発見

• EPCは、エージェント数が増加し、人口が指数的に増加しても一貫してベースラインを上回る。
• Attention-based, population-invariant architectures は MADDPG の性能を、ベースライン MADDPG や平均場法と比較して向上させる。
• Vanillaな人口カリキュラムは集団が拡大するにつれて劣化する一方、EPCはスケール全体で優れた性能を維持する。
• Grasslandでの生存率と草食摂取量、Adversarial BattleとFood Collectionでの協力と資源回収の向上をEPCが示す。