[論文レビュー] MARLlib: A Scalable and Efficient Multi-agent Reinforcement Learning Library

Siyi Hu, Yifan Zhong+7 more|arXiv (Cornell University)|Oct 11, 2022

Reinforcement Learning in Robotics被引用数 11

ひとこと要約

MARLlibは、標準化された環境ラッパー、エージェントレベルのアルゴリズム統合、柔軟なポリシー設定を用いて、環境設計とアルゴリズム実装を分離することで、スケーラブルで効率的なマルチエージェント強化学習（MARL）ライブラリです。これにより、多様なMARLタスクとアルゴリズム間でシームレスな互換性が実現され、EPyMARLなどの最先端のベースラインと同等のパフォーマンスを達成するとともに、学習ステップ数を半減しました。

ABSTRACT

A significant challenge facing researchers in the area of multi-agent reinforcement learning (MARL) pertains to the identification of a library that can offer fast and compatible development for multi-agent tasks and algorithm combinations, while obviating the need to consider compatibility issues. In this paper, we present MARLlib, a library designed to address the aforementioned challenge by leveraging three key mechanisms: 1) a standardized multi-agent environment wrapper, 2) an agent-level algorithm implementation, and 3) a flexible policy mapping strategy. By utilizing these mechanisms, MARLlib can effectively disentangle the intertwined nature of the multi-agent task and the learning process of the algorithm, with the ability to automatically alter the training strategy based on the current task's attributes. The MARLlib library's source code is publicly accessible on GitHub: \url{https://github.com/Replicable-MARL/MARLlib}.

研究の動機と目的

• 多様な環境とアルゴリズムをサポートする統一的で互換性があり拡張可能なマルチエージェント強化学習（MARL）フレームワークの不足に対処すること。
• 特に協調的・競合的混合設定において、マルチエージェント環境とアルゴリズムの間の不整合を解消すること。
• 環境ロジックと学習アルゴリズムロジックを分離することで、コードの肥大化を低減し、拡張性を向上させること。
• 多様なベンチマークでMARLアルゴリズムの学習と評価を効率的かつスケーラブルに実行できるプラットフォームを提供すること。
• 低レベルの互換性問題に煩わされずに、研究者が迅速にMARLアルゴリズムをプロトタイプ化・ベンチマーク化できるようにすること。

提案手法

• 多様な環境の観測と行動フォーマットを統一するための標準化されたマルチエージェント環境ラッパーを導入し、アルゴリズムに依存しない学習パイプラインを実現。
• Rayを基盤とする分散学習フレームワーク内で、エージェントレベルにアルゴリズムを実装することで、細かく制御可能でスケーラブルな構造を実現。
• タスク固有の属性に基づいて動的にポリシーをエージェントに割り当てる柔軟なポリシー設定戦略を採用し、共有・グループ・個別ポリシー設定をサポート。
• 分散学習を実現するため、RayとRLlibのエコシステムを活用し、複数のGPUおよびノードに効率的にスケーリング可能。
• モジュラー設計により、MLP、LSTM、GRU、CNNなど多様なニューラルアーキテクチャと、オンポリシー、オフポリシー、マルチエージェントアルゴリズムなど多様なアルゴリズムタイプをサポート。
• 環境の特徴（エージェント数、状態空間、行動空間など）に応じて、自動的に学習戦略を適応させる。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント環境とアルゴリズムの広範な範囲を、最小限の構成オーバーヘッドでサポートできるMARLライブラリは、どのように設計できるか？
• RQ2 標準化された環境ラッパーとエージェントレベルのアルゴリズム抽象化は、MARLシステムにおける互換性の向上とコードの重複削減に、どの程度寄与するか？
• RQ3 統一されたフレームワークは、EPyMARLのような特化型ライブラリと同等のパフォーマンスを達成できるか？ また、学習ステップ数を削減し、学習効率を向上させられるか？
• RQ4 柔軟なポリシー設定戦略は、異種のMARLタスクにわたり、多様な学習アルゴリズムをどのようにシームレスに統合できるか？
• RQ5 モジュラーで分離された設計は、MARLソフトウェアフレームワークの拡張性と保守性に、どのような影響を与えるか？

主な発見

• SMACベンチマークにおいて、MARLlibはEPyMARLと同等のパフォーマンスを達成し、報告された結果の63%が1.0の総報酬差以内に収まり、25%のケースでEPyMARLを上回りました。
• オンポリシーでは2000万ステップ、オフポリシーでは200万ステップという半分の学習ステップで、SMACにおいて同等またはより優れた性能に収束しました。
• MARLlibは、SMAC、MPE、MAgent、GRF、MAMuJoCoを含む15以上の環境で、18種類以上の異なるMARLアルゴリズムを正常に学習させ、広範な互換性を実証しました。
• MAgentおよびMPE環境におけるエージェントグループのバランスの取れたリターン曲線から、協調的・競合的混合シナリオでも安定した学習が可能であることが示されました。
• MARLlibのモジュラー設計により、コードの複雑さが低減し、拡張性が向上し、新しいアルゴリズムや環境を最小限の変更で統合可能となりました。
• フレームワークがタスク固有の属性（例：グローバル状態の可用性）に自動的に適応できるため、手動でのパイプライン再構成なしに、多様なMARL設定を透明に処理できました。