[論文レビュー] Breaking the Curse of Dimensionality in Multiagent State Space: A Unified Agent Permutation Framework

Xiaotian Hao, Hangyu Mao+6 more|arXiv (Cornell University)|Mar 10, 2022

Reinforcement Learning in Robotics被引用数 10

ひとこと要約

本論文は、多エージェント強化学習（MARL）における次元の呪いを克服するために、置換不変性（PI）と置換同変性（PE）を活用する統一的エージェント置換フレームワークを提案する。動的置換ネットワーク（DPN）とハイパーポリシー・ネットワーク（HPN）を導入することで、エージェントごとのPI入力モジュールとPE出力モジュールにより状態空間の複雑さを低減し、SMACのほぼすべてのハードおよびスーパー・ハードなシナリオで100%の勝率を達成した。これは、以前は達成不可能とされてきた結果である。

ABSTRACT

The state space in Multiagent Reinforcement Learning (MARL) grows exponentially with the agent number. Such a curse of dimensionality results in poor scalability and low sample efficiency, inhibiting MARL for decades. To break this curse, we propose a unified agent permutation framework that exploits the permutation invariance (PI) and permutation equivariance (PE) inductive biases to reduce the multiagent state space. Our insight is that permuting the order of entities in the factored multiagent state space does not change the information. Specifically, we propose two novel implementations: a Dynamic Permutation Network (DPN) and a Hyper Policy Network (HPN). The core idea is to build separate entity-wise PI input and PE output network modules to connect the entity-factored state space and action space in an end-to-end way. DPN achieves such connections by two separate module selection networks, which consistently assign the same input module to the same input entity (guarantee PI) and assign the same output module to the same entity-related output (guarantee PE). To enhance the representation capability, HPN replaces the module selection networks of DPN with hypernetworks to directly generate the corresponding module weights. Extensive experiments in SMAC, Google Research Football and MPE validate that the proposed methods significantly boost the performance and the learning efficiency of existing MARL algorithms. Remarkably, in SMAC, we achieve 100% win rates in almost all hard and super-hard scenarios (never achieved before).

研究の動機と目的

• エージェント数の増加に伴い指数関数的に増大する状態空間と行動空間の問題に対処すること。
• 次元の呪いによって引き起こされるスケーラビリティの低さとサンプル効率の低さを克服すること。
• 置換不変性（PI）と置換同変性（PE）をインダクティブバイアスとして活用し、状態空間の複雑さを低減すること。
• 既存のMARLアルゴリズムのアーキテクチャを大幅に見直さずに統合可能な汎用性の高いフレームワークを設計すること。
• SMAC、MPE、Google Research Footballを含む多様なMARLベンチマークで、優れたパフォーマンスとサンプル効率を達成すること。

提案手法

• 状態空間を1/m!倍に低減するため、PIおよびPEのインダクティブバイアスを活用する統一的フレームワークを提案する。
• 入力にPIを強制する2つの別個のモジュール選択ネットワークを備えた動的置換ネットワーク（DPN）を導入する。
• DPNのモジュール選択をハイパーネットワークに置き換えることで、モジュール重みをエンド・トゥ・エンドで生成するハイパーポリシー・ネットワーク（HPN）を設計する。
• エージェント要因分解された状態と行動表現を用い、入力特徴にPIを適用し、出力行動にPEを適用する。1対1の対応関係を保つ。
• モジュール選択またはハイパーネットワークにおける共有アテンション機構により、置換に対して一貫したモジュール割り当てを保証する。
• QMIX、MAPPO、QPLEXなどの既存MARLアルゴリズムのコア学習メカニズムを変更せずに、フレームワークを統合する。

実験結果

リサーチクエスチョン

• RQ1 PIおよびPEのインダクティブバイアスは、MARLにおけるマルチエージェント状態空間のサイズ低減に効果的に活用可能か？
• RQ2 PI入力モジュールとPE出力モジュールを統合した統一フレームワークは、サンプル効率とスケーラビリティをどのように向上させるか？
• RQ3 提案されたDPNおよびHPN手法は、既存のPI/PEベースラインおよび標準MARLアルゴリズムを、多様な環境で上回るか？
• RQ4 PI入力モジュールの表現能力が全体のパフォーマンスに与える影響はどの程度か？
• RQ5 このフレームワークは、異なるMARLアルゴリズムやベンチマークに一般化可能か？

主な発見

• HPN-QMIXは、SMACのすべてのハードおよびスーパー・ハードなシナリオで100%の勝率を達成した。これは、かつてどのMARLアルゴリズムでも達成されていなかった結果である。
• HPN-MAPPOおよびHPN-QPLEXは、SMACの5m_vs_6mおよび3s5z_vs_3s6zシナリオにおいて、それぞれのベースラインと比べて顕著に優れた性能を示し、アルゴリズム間での一般化を実証した。
• MPEの協調ナビゲーションおよび捕食者・獲物タスクにおいて、HPN-MADDPGはGNNベースのPIC、DA-MADDPG、および通常のMADDPGを上回り、優れたPI設計の有効性を示した。
• Google Research Footballでは、HPN-QMIXがSOTAのCDS-QMIXを3_vs_1_with_keeperおよびcounterattack_hardシナリオで上回り、平均勝率がより高くなった。
• アブレーションスタディの結果、出力側のPEレイヤーおよびハイパーネットワークによる強化された入力表現能力が、パフォーマンス向上に不可欠であることが確認された。
• 単にモデルサイズを増大させても（BIG-QMIX）、性能向上が得られず、PI/PEの設計がパrameterスケーリングよりもはるかに効果的であることが裏付けられた。