[論文レビュー] PIC: Permutation Invariant Critic for Multi-Agent Deep Reinforcement Learning

Iou-Jen Liu, Raymond A. Yeh+1 more|arXiv (Cornell University)|Oct 31, 2019

Reinforcement Learning in Robotics被引用数 29

ひとこと要約

本論文は、エージェントの順序に関係なく一貫した価値推定を保証する、置換不変なクライアント（PIC）を、マルチエージェント強化学習に提案する。グラフニューラルネットワークを用いて置換不変性を強制し、サンプル効率とスケーラビリティを向上させ、最大200エージェントまで成功した学習を可能にした。これにより、元のMPE環境よりも30倍多いエージェントを扱えるようになり、ベースライン手法よりも15％～50％高いテストエピソード報酬を達成した。

ABSTRACT

Sample efficiency and scalability to a large number of agents are two important goals for multi-agent reinforcement learning systems. Recent works got us closer to those goals, addressing non-stationarity of the environment from a single agent's perspective by utilizing a deep net critic which depends on all observations and actions. The critic input concatenates agent observations and actions in a user-specified order. However, since deep nets aren't permutation invariant, a permuted input changes the critic output despite the environment remaining identical. To avoid this inefficiency, we propose a 'permutation invariant critic' (PIC), which yields identical output irrespective of the agent permutation. This consistent representation enables our model to scale to 30 times more agents and to achieve improvements of test episode reward between 15% to 50% on the challenging multi-agent particle environment (MPE).

研究の動機と目的

• 置換不変でないクライアントによるマルチエージェント深層強化学習のサンプル非効率性とスケーラビリティの制限を解消する。
• MLPクライアントがエージェントの順序によって異なる出力を生成する問題を克服し、学習効率を向上させる。
• 標準的なクライアントが収束しない大規模なエージェント数（最大200）の環境でも効果的な学習を可能にする。
• エージェント固有の属性を追加することで、同種および異種エージェントをサポートする。
• マルチエージェントパーティクル環境（MPE）を30倍高速化することで、スケールでの訓練効率を向上させ、厳密な評価を可能にする。

提案手法

• エージェントの観測と行動を集合として処理するグラフニューラルネットワークに基づく置換不変クライアント（PIC）を提案し、エージェント順序のすべての置換に対して同一の出力を保証する。
• 情報の集約に学習可能なメッセージパッシング層を備えたグラフネットワークアーキテクチャを用い、対称的集約により置換不変性を強制する。
• 観測空間、行動空間、または役割が異なる異種エージェントをモデル化するため、グラフにエージェント属性を追加する。
• すべてのエージェントの状態と行動を観測する中央集権的価値関数を用い、MADDPGスタイルのフレームワークでクライアントを訓練する。
• 最適化されたデータロードと並列処理を実装した修正版MPE環境を構築し、元の実装と比較して30倍の高速化を達成した。
• 完全接続型およびK近傍近傍グラフなどのグラフ構造を用い、アブレーションにより完全接続型グラフが優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 置換不変なクライアントは、マルチエージェント深層強化学習におけるサンプル効率とスケーラビリティを向上させることができるか？
• RQ2 クライアントにおける置換不変性の強制は、異なるエージェント順序に対しても一貫した価値推定をもたらすか？
• RQ3 提案されたPICは、従来の実装では不可能だった大幅に多数のエージェント（例：200）を含む環境にスケーリング可能か？
• RQ4 最終的な性能と訓練安定性の観点から、標準的なMLPクライアントおよびデータ拡張付きMLPクライアントと比較して、PICはどのように差をつけるか？
• RQ5 エージェント属性の導入により、協調的マルチエージェントタスクにおける異種エージェントの有効なモデル化が可能か？

主な発見

• PICは複数のMPEタスクにおいて、ベースラインのMLPクライアントと比較して15％～50％高い平均テストエピソード報酬を達成し、t検定（p < 0.05）により統計的有意性が確認された。
• クライアント損失比（MLP / PIC）はエージェント数の増加に伴い上昇し、高次元設定においてPICがはるかに正確な価値推定を提供することを示している。
• PICを用いた訓練により、最大200エージェントの環境でも成功した学習が可能となったが、ベースラインのMADDPGは大規模な環境では有用な方策を学習できなかった。
• MPE環境の30倍高速化により、30エージェントの訓練が5時間未満で完了したのに対し、元の設定では100時間以上かかっていた。
• データ拡張はMLPクライアントの性能を顕著に向上させず、場合によっては劣化させることがあり、ヒューリスティックな順序緩和法の限界を示している。
• 全評価タスクにおいて完全接続型グラフ構造がK近傍近傍グラフを上回り、協調的設定における価値推定にグローバルな接続性が有益であることを示唆している。