[論文レビュー] Major-Minor Mean Field Multi-Agent Reinforcement Learning

Kai Cui, Christian Fabián+2 more|arXiv (Cornell University)|Mar 19, 2023

Auction Theory and ApplicationsDecision Sciences被引用数 3

ひとこと要約

本稿では、多数の確率的で軽微なマイナー代理と1体以上の複雑なメジャーアイテムを備えたシステムをモデル化する、協調的マルチエージェント強化学習のための新規フレームワーク、Major-Minor Mean Field Control (M3FC) を導入する。本稿は、厳密な近似性質と動的計画法の原則を確立し、M3FC型の環境で効果的な方策を学習できるM3FPPOアルゴリズムを提案する。また、システムサイズの異なる環境間での転送性も示している。

ABSTRACT

Multi-agent reinforcement learning (MARL) remains difficult to scale to many agents. Recent MARL using Mean Field Control (MFC) provides a tractable and rigorous approach to otherwise difficult cooperative MARL. However, the strict MFC assumption of many independent, weakly-interacting agents is too inflexible in practice. We generalize MFC to instead simultaneously model many similar and few complex agents -- as Major-Minor Mean Field Control (M3FC). Theoretically, we give approximation results for finite agent control, and verify the sufficiency of stationary policies for optimality together with a dynamic programming principle. Algorithmically, we propose Major-Minor Mean Field MARL (M3FMARL) for finite agent systems instead of the limiting system. The algorithm is shown to approximate the policy gradient of the underlying M3FC MDP. Finally, we demonstrate its capabilities experimentally in various scenarios. We observe a strong performance in comparison to state-of-the-art policy gradient MARL methods.

研究の動機と目的

• 既存の平均場制御（MFC）手法の限界に対処すること。これらの手法は、同質的で軽微なエージェントしか仮定せず、複雑で影響力のあるメジャーエージェントをモデル化できない。
• メジャーエージェントと確率的かつ相関関係にあるマイナー代理を含む、理論的根拠に基づいた協調的マルチエージェント強化学習のフレームワークを構築すること。
• 有限および無限時間枠組みにおいて、M3FCの近似性質と動的計画法の原則を確立すること。
• M3FC型の問題に対して効果的な方策を学習できる新しいMARLアルゴリズム、M3FPPOの設計と評価を行うこと。
• 小さなシステムで学習した方策が、より大きなシステムへと転送可能であることを示すこと。

提案手法

• 離散時間におけるマーカフ決定過程とMFCの一般化を提案し、メジャーエージェントと多数のマイナー代理を備えたシステムをモデル化する。これにより、メジャーエージェントの状態に影響を受ける確率的マイナー代理の分布を扱える。
• マイナー代理の行動がメジャーエージェントの状態とマイナー代理の経験的分布に依存する、マジョルティ・マイノリティ平均場制御（M3FC）フレームワークを導入する。これにより強い相関関係をモデル化できる。
• M3FC問題を解くための動的計画法の原則を導出する。これにより、方策の再帰的最適化が可能になる。
• 無限時間割引ケースにおいて、最適な定常方策の存在を確立し、協調的MFCへの理論的基盤を拡張する。
• M3FC問題に特化した新しいMARLアルゴリズム、Major-Minor Mean Field Proximal Policy Optimization（M3FPPO）を提案する。
• 中央集権的訓練と分散型実行（CTDE）のパラダイムを採用する。メジャーエージェントは全システム状態を観測するが、マイナー代理は局所的観測とメジャーエージェントの状態に基づいて行動する。

実験結果

リサーチクエスチョン

• RQ1 標準的なi.i.d.マイナー代理の仮定を超えて、メジャーエージェントと確率的かつ相関関係にあるマイナー代理を含めるように平均場制御フレームワークを拡張可能か？
• RQ2 有限マルチエージェントシステムにおけるM3FCの理論的近似性質は何か？また、既存のMFCモデルと比較してどうなるか？
• RQ3 M3FCにおける動的計画法の原則は成立するか？また、最適方策を導出するために使用可能か？
• RQ4 M3FPPOアルゴリズムは、M3FC型の環境で協調的方策を効果的に学習できるか？特に、小さなシステムで学習し、より大きなシステムに転送した場合に有効か？
• RQ5 M3FPPOは、IPPOなどの標準的なMARLベースラインと比較して、性能とシステムサイズにわたる一般化性において優れているか？

主な発見

• M3FPPOは、2G、Formation、Beach Bar、Foraging、Potentialのすべてのテスト済みM3FC環境で、効果的な方策を成功裏に学習した。特に、有限小規模システムで学習した場合でも高い性能を示した。
• ForagingおよびBeach Bar環境では、両者を直接有限システムで学習させた場合、M3FPPOはIPPOを上回った。これは、より優れたサンプル効率と方策品質を示している。
• N=5,10,20の小さなシステムでM3FPPOを学習し、その方策をより大きなシステムに転送したところ、同等の性能が得られた。これは、強力な一般化性と転送性を示している。
• 理論的分析により、無限時間割引M3FC設定において最適な定常方策の存在が確認された。これにより、フレームワークの理論的妥当性が拡張された。
• M3FCの動的計画法の原則は厳密に導出され、再帰的方策最適化を可能にし、スケーラブルな解法手法の基盤を提供した。
• メジャーエージェントの状態を通じてマイナー代理が相関関係を持つ複雑な依存関係を、フレームワークは成功裏にモデル化した。これにより、個々のエージェントに縛られない任意のシステムレベルの効果をモデル化可能となった。