[論文レビュー] Settling the Variance of Multi-Agent Policy Gradients

Jakub Grudzien Kuba, Muning Wen+6 more|arXiv (Cornell University)|Aug 19, 2021

Reinforcement Learning in Robotics参考文献 49被引用数 24

ひとこと要約

本論文は、エージェント数とマルチエージェント探索の寄与を数学的に定量化することで、分散を最小化するマルチエージェント方策勾配（MAPG）の最適ベースライン（OB）を提案する。OBは解析的に導出され、深層強化学習フレームワークに準拠する形で実装されており、PPO や COMA に適用することで、StarCraft や Multi-Agent MuJoCo などの MARL ベンチマークで訓練の安定性と性能が著しく向上する。

ABSTRACT

Policy gradient (PG) methods are popular reinforcement learning (RL) methods where a baseline is often applied to reduce the variance of gradient estimates. In multi-agent RL (MARL), although the PG theorem can be naturally extended, the effectiveness of multi-agent PG (MAPG) methods degrades as the variance of gradient estimates increases rapidly with the number of agents. In this paper, we offer a rigorous analysis of MAPG methods by, firstly, quantifying the contributions of the number of agents and agents' explorations to the variance of MAPG estimators. Based on this analysis, we derive the optimal baseline (OB) that achieves the minimal variance. In comparison to the OB, we measure the excess variance of existing MARL algorithms such as vanilla MAPG and COMA. Considering using deep neural networks, we also propose a surrogate version of OB, which can be seamlessly plugged into any existing PG methods in MARL. On benchmarks of Multi-Agent MuJoCo and StarCraft challenges, our OB technique effectively stabilises training and improves the performance of multi-agent PPO and COMA algorithms by a significant margin.

研究の動機と目的

• マルチエージェント方策勾配（MAPG）推定子における分散の原因を厳密に分析すること。
• エージェント数とマルチエージェント探索が推定子の分散にどのように寄与するかを定量化すること。
• MAPGにおける分散を最小化する理論的に最適なベースライン（OB）を導出すること。
• 既存の MARL アルゴリズムへのシームレスな統合を可能にする、実用的でディープラーニング互換性のある OB のサーヴィレートを構築すること。
• 標準的な MARL ベンチマークにおける OB の有効性を実証的に検証すること。

提案手法

• 著者らは、共同方策勾配フレームワーク下で、MAPG推定子の分散を最小化する最適ベースライン（OB）の閉形式表現を導出する。
• エージェント数と共同探索からの分散寄与を分析することで、状態・行動に依存するベースラインが得られ、マルチエージェントの依存関係を反映する。
• 深層強化学習向けに、OB のサーヴィレート版を提案し、再サンプリングされた行動とレプレイバッファからの Q 値を用いて、完全な共同行動の列挙を必要とせずに最適ベースラインを推定する。
• OB の推定値を、PPO や COMA などの既存の PG ベースの MARL アルゴリズムのベースライン部に置き換えることで、これらのアルゴリズムに統合する。
• アドバンテージ関数の CTDE 構造を活用し、バイアスがゼロを保ちつつ分散を最小化する微分可能で学習可能なベースラインを採用する。
• OB を調整したアドバンテージを用いて、標準的な方策勾配最適化を実行することで、マルチエージェント環境における安定的で効率的な学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント方策勾配推定子における高い分散の主な要因は何であるか？
• RQ2 分散を最小化する理論的最適ベースラインを導出できるか？
• RQ3 COMA の反事後ベースラインなど、既存のベースラインと比較して、最適ベースラインは分散低減においてどのように優れているか？
• RQ4 過度な計算コストを伴わずに、深層強化学習環境において最適ベースラインを効果的に近似できるか？
• RQ5 提案された最適ベースラインは、マルチエージェント強化学習ベンチマークにおける訓練の安定性と最終的パフォーマンスを向上させるか？

主な発見

• 本論文で導出された最適ベースライン（OB）は、マルチエージェント方策勾配推定子における可能な最小分散を達成し、理論的・実践的に既存のベースラインを上回る。
• OB は訓練の分散を顕著に低減し、Multi-Agent MuJoCo および StarCraft の両環境でより安定した学習曲線を実現する。
• マルチエージェント PPO や COMA に適用した場合、OB はすべての評価環境で顕著な性能向上をもたらし、一貫した改善が得られる。
• 再サンプリングされた行動と Q 値を用いるサーヴィレート OB 法は、理論的 OB を効果的に近似でき、深層強化学習フレームワークへのシームレスな統合を可能にする。
• 実証的結果から、OB を用いたアルゴリズムは、ヴァニラな MAPG や COMA よりも収束が早く、より高い報酬を達成することが示された。特に高次元でマルチエージェントな環境において顕著な優位性を示す。
• コードと実装は公開されており、再現性が確保され、他の MARL アルゴリズムへの応用や拡張が可能である。