[論文レビュー] Mava: a research framework for distributed multi-agent reinforcement learning.

Arnu Pretorius, Kale-ab Tessera+12 more|arXiv (Cornell University)|Jul 3, 2021

Reinforcement Learning in Robotics参考文献 56被引用数 6

ひとこと要約

Mavaは、DeepMindのAcmeを活用して既存の単一エージェント強化学習コンponentsを活用する、分散型マルチエージェント強化学習（MARL）のスケーラブルでモジュラーな研究フレームワークである。マルチプロセス訓練をサポートし、MARLベースラインの即時実装を備えた、柔軟で組み合わせ可能なMARLシステム設計を可能にし、多様な環境で効果的なパフォーランスを示している。

ABSTRACT

Breakthrough advances in reinforcement learning (RL) research have led to a surge in the development and application of RL. To support the field and its rapid growth, several frameworks have emerged that aim to help the community more easily build effective and scalable agents. However, very few of these frameworks exclusively support multi-agent RL (MARL), an increasingly active field in itself, concerned with decentralised decision-making problems. In this work, we attempt to fill this gap by presenting Mava: a research framework specifically designed for building scalable MARL systems. Mava provides useful components, abstractions, utilities and tools for MARL and allows for simple scaling for multi-process system training and execution, while providing a high level of flexibility and composability. Mava is built on top of DeepMind's Acme \citep{hoffman2020acme}, and therefore integrates with, and greatly benefits from, a wide range of already existing single-agent RL components made available in Acme. Several MARL baseline systems have already been implemented in Mava. These implementations serve as examples showcasing Mava's reusable features, such as interchangeable system architectures, communication and mixing modules. Furthermore, these implementations allow existing MARL algorithms to be easily reproduced and extended. We provide experimental results for these implementations on a wide range of multi-agent environments and highlight the benefits of distributed system training.

研究の動機と目的

• マルチエージェント強化学習（MARL）の専用でスケーラブルなフレームワークの不足に応えるが、研究関心が高まる一方で、
• 分散型意思決定を可能にするマルチエージェント環境における、モジュラーで組み合わせ可能なシステムを提供する。
• 複数のプロセスにわたる効率的な分散訓練を可能にしながら、高い柔軟性と再利用可能性を維持する。
• 再利用可能なコンポonentを介して、既存のMARLアルゴリズムの実装、再現、拡張を容易にする。
• DeepMindのAcmeを介して既存の単一エージェントRLコンポーネントとシームレスに統合し、開発と実験の加速を図る。

提案手法

• DeepMindのAcmeの上に積み上げられたフレームワークとしてMavaを構築し、その堅牢な単一エージェントRLコンポーネントとインfrastrucureを再利用する。
• 交換可能なシステムアーキテクチャ、通信モジュール、価値マッピング機構を含む、MARLシステムのモジュラー抽象化を設計する。
• 複数プロセスによる実行をサポートすることで、複数のデバイスやノードにわたるスケーラブルなシステム展開を可能にする。
• 集中型コーチ、通信プロトコル、価値分解モジュールなどの再利用可能なコンポーネントを実装し、アルゴリズムの組み合わせを容易にする。
• フレームワークの柔軟性と拡張性を示す例として、既存のMARLアルゴリズムの即時実装を提供する。
• 研究者が1つのトレーニングパイプライン内で異なるポリシー、価値関数、通信方式を自由に組み合わせられるように、組み合わせ可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 多様なマルチエージェント強化学習アルゴリズムをサポートする、モジュラーで組み合わせ可能なフレームワークはどのように設計できるか？
• RQ2 Acmeの既存コンポーネントは、マルチエージェント環境においてどの程度効果的に再利用可能か？
• RQ3 フレームワークは、柔軟性と使いやすさを維持したまま、MARLシステムの効率的な分散訓練を可能にするか？
• RQ4 実装されたMARLベースラインは、標準的なマルチエージェント環境の範囲でどの程度のパフォーマンスを示すか？
• RQ5 Mavaフレームワーク内での分散訓練は、スケーラビリティと訓練効率の観点でどのような利点を提供するか？

主な発見

• Mavaは、組み合わせ可能でモジュラーなアーキテクチャを用いて、複数のMARLベースラインの実装とトレーニングを成功裏に可能にした。
• フレームワークは、スケーラブルなマルチプロセストレーニングをサポートし、複数のデバイスに学習を効率的に分散可能である。
• Acmeの既存コンポーネントを活用することで、Mavaは開発のオーバーヘッドを低減し、MARLにおける実験の加速を実現した。
• フレームワークの設計により、MARLアルゴリズムの容易な拡張と再現が可能となり、再現性と研究の俊敏性が向上した。
• さまざまなマルチエージェント環境における実験結果から、Mavaのトレーニングパイプラインの有効性とスケーラビリティが示された。
• 通信モジュールとマッピングモジュールの統合により、異なるMARLアルゴリズム的コンポーネントでの柔軟な実験が可能になった。