[論文レビュー] From Few to More: Large-scale Dynamic Multiagent Curriculum Learning

Weixun Wang, Tianpei Yang+7 more|arXiv (Cornell University)|Sep 6, 2019

Reinforcement Learning in Robotics参考文献 30被引用数 8

ひとこと要約

本稿では、大規模マルチエージェントシステムにおけるエージェント数を段階的に増加させながらエージェントを訓練する、新たなフレームワークである Dynamic Multiagent Curriculum Learning (DyMA-CL) を提案する。Buffer Reuse、Curriculum Distillation、Model Reload の3つの転送メカニズムと、変動する入力サイズに対応できる Dynamic Agent-number Network (DyAN) を導入することで、StarCraft II および MAgent の環境において、最先端の深層強化学習手法に比べて学習効率と性能が顕著に向上する。

ABSTRACT

A lot of efforts have been devoted to investigating how agents can learn effectively and achieve coordination in multiagent systems. However, it is still challenging in large-scale multiagent settings due to the complex dynamics between the environment and agents and the explosion of state-action space. In this paper, we design a novel Dynamic Multiagent Curriculum Learning (DyMA-CL) to solve large-scale problems by starting from learning on a multiagent scenario with a small size and progressively increasing the number of agents. We propose three transfer mechanisms across curricula to accelerate the learning process. Moreover, due to the fact that the state dimension varies across curricula,, and existing network structures cannot be applied in such a transfer setting since their network input sizes are fixed. Therefore, we design a novel network structure called Dynamic Agent-number Network (DyAN) to handle the dynamic size of the network input. Experimental results show that DyMA-CL using DyAN greatly improves the performance of large-scale multiagent learning compared with state-of-the-art deep reinforcement learning approaches. We also investigate the influence of three transfer mechanisms across curricula through extensive simulations.

研究の動機と目的

• エージェント数の増加に伴い指数関数的に拡大する状態行動空間と環境のダイナミクスを有する大規模マルチエージェントシステムにおける訓練の課題に対処すること。
• カリキュラム学習において固定入力サイズを持つニューラルネットワークの制限を克服し、異なるエージェント数に応じた動的入力サイズの適応を可能にすること。
• 段階的に複雑化する訓練カリキュラムに沿った構造的な知識転送を通じて、マルチエージェント強化学習の高速化を図ること。
• 複雑なMAS環境における協調性と性能の向上を実現する、スケーラブルで動的なカリキュラム訓練パラダイムの設計と検証すること。

提案手法

• 10 vs 10 から 50 vs 50 のエージェント数まで段階的に増加させる、エージェント数を増加させる訓練スケジュールに従い、エージェントを訓練する Dynamic Multiagent Curriculum Learning (DyMA-CL) を提案。
• 3つの転送メカニズムを導入：Buffer Reuse（カリキュラム間でリプレイバッファを共有）、Curriculum Distillation（大規模カリキュラムから小規模カリキュラムへの知識蒸留）、Model Reload（事前学習済みモデルで再初期化）。
• 異なるエージェント数に適応できるように設計された、グラフニューラルネットワークに基づくアーキテクチャである Dynamic Agent-number Network (DyAN) を設計。
• 5つの異なるタスク（それぞれ異なるエージェント数）を含むカリキュラムスケジュールを用い、段階的に訓練の複雑さを増加させる。
• 2つのベンチマーク環境に DyMA-CL を適用：StarCraft II（リアルタイムストラテジー ゲーム）と MAgent（最大数百万エージェントを有する大規模マルチエージェントシミュレーション）。
• 独立型深層強化学習アルゴリズム（IQL、PPO、A2C、ACER）を用い、カリキュラム学習の有無を比較することで、提案フレームワークの影響を隔離して評価。

実験結果

リサーチクエスチョン

• RQ1 エージェント数を段階的に増加させるカリキュラム学習アプローチが、大規模マルチエージェントシステムにおける学習効率と性能を向上させることができるか？
• RQ2 Buffer Reuse、Curriculum Distillation、Model Reload といった転送メカニズムは、収束の加速と最終的性能の向上においてどの程度有効か？
• RQ3 エージェント数の変動に起因する変動する入力サイズに、ニューラルネットワークアーキテクチャが動的に適応できるか？
• RQ4 DyMA-CL は、大規模マルチエージェント環境における標準的な深層強化学習ベースラインに比べて、定量的にどの程度の性能向上を達成できるか？

主な発見

• Model Reload を用いた DyMA-CL は、50 vs 50 の MAgent シナリオにおいて最終的な性能を顕著に向上させ、A2C で平均キル数 38.25 ± 7.33、生存仲間数 44.59 ± 9.17 を達成した。
• 50 vs 50 の StarCraft II シナリオにおいて、Model Reload を用いた DyMA-CL は、A2C で最大キル数 47.71 ± 5.61、平均生存仲間数 43.77 ± 10.36 を達成し、初期から訓練する手法を上回った。
• IQL、PPO、A2C、ACER の複数のアルゴリズムにおいても、DyMA-CL の性能向上効果は一貫しており、カリキュラムを用いることで平均キル数と生存率が向上した。
• ACER で非定常環境による方策の不安定性が顕著に見られる場合でさえも、DyMA-CL は性能向上を達成し、50 vs 50 の MAgent タスクで平均キル数 9.67 ± 3.68 を達成した。
• DyAN ネットワークにより、異なるエージェント数を持つカリキュラム間で効果的な学習が可能となり、固定入力サイズを持つニューラルアーキテクチャの制限を克服した。
• アブレーションスタディの結果、Buffer Reuse、Curriculum Distillation、Model Reload の3つの転送メカニズムすべてが性能向上に寄与しており、特に Model Reload が最も顕著な改善をもたらした。