[論文レビュー] Parameter Sharing is Surprisingly Useful for Multi-Agent Deep Reinforcement Learning.

Justin K. Terry, Nathaniel Grammel+4 more|arXiv (Cornell University)|May 27, 2020

Reinforcement Learning in Robotics参考文献 25被引用数 29

ひとこと要約

この論文は、マルチエージェント強化学習（MARL）においてあまり使われていないパラメータ共有が、集中学習を用いることで非定常性を軽減することで、学習効率と性能を顕著に向上させることを示している。パラメータ共有により、従来の設定と比較して16%のエピソードで44倍の平均報酬に達することが可能であり、非均質な環境への応用についても形式的拡張がなされている。

ABSTRACT

Nonstationarity is a fundamental problem in cooperative multi-agent reinforcement learning (MARL)--each agent must relearn information about the other agent's policies due to the other agents learning, causing information to ring between agents and convergence to be slow. The MAILP model, introduced by Terry and Grammel (2020), is a novel model of information transfer during multi-agent learning. We use the MAILP model to show that increasing training centralization arbitrarily mitigates the slowing of convergence due to nonstationarity. The most centralized case of learning is parameter sharing, an uncommonly used MARL method, specific to environments with homogeneous agents, that bootstraps a single-agent reinforcement learning (RL) methods and learns an identical policy for each agent. We experimentally replicate the result of increased learning centralization leading to better performance on the MARL benchmark set from Gupta et al. (2017). We further apply parameter sharing to 8 modern single-agent deep RL (DRL) methods for the first time in the literature. With this, we achieved the best documented performance on a set of MARL benchmarks and achieved upto 44 times more average reward in as little as 16% as many episodes compared to documented parameter sharing arrangement. We finally offer a formal proof of a set of methods that allow parameter sharing to serve in environments with heterogeneous agents.

研究の動機と目的

• 学習中にエージェントの方策が動的に変化するため、協調的マルチエージェント強化学習（MARL）における非定常性の課題に対処すること。
• 特にパラメータ共有による訓練の集中化を高めることで、非定常性に起因する収束遅延を緩和できるかどうかを調査すること。
• エージェントが異なる方策や観測を持つ非均質な環境において、パラメータ共有を拡張すること。
• 8つの現代的なディープRLアルゴリズムを用いてMARLベンチマークでパラメータ共有を評価し、最先端の性能を確立すること。
• 非均質なエージェントへのパラメータ共有の拡張のための形式的証明を提供すること。

提案手法

• マルチエージェント学習中の情報伝達ダイナミクスを形式化するために、MAILPモデル（Terry & Grammel, 2020）を採用する。
• すべてのエージェントが1つの方策ネットワークを共有する、最も集中化された訓練制度としてパラメータ共有を実装する。
• SAC、PPO、DQNなどの8つの現代的な単一エージェントディープRL手法を、初めてMARLでパラメータ共有を適用する。
• 共有されたパrameterを用いて単一エージェントRL手法をブートストラップし、収束を高速化し、サンプル効率を向上させる。
• 非均質なエージェントに適応可能な条件のセットを提唱し、形式的に証明する。
• Guptaら（2017）のMARLベンチマークスイートを用いて、多様な協調的環境における性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ共有による訓練の集中化を高めることで、MARLにおける非定常性に起因する収束遅延はどの程度軽減されるか？
• RQ2 パラメータ共有は現代的なディープRLアルゴリズムをマルチエージェント設定に適用可能であり、サンプル効率を向上させるか？
• RQ3 標準ベンチマークにおいて、パラメータ共有は従来のMARL手法と比較してどの程度の性能向上を達成するか？
• RQ4 非均質なマルチエージェント環境へのパラメータ共有の拡張は可能か？また、どのような形式的条件下で有効性を保つのか？
• RQ5 非共有・分散型訓練アプローチと比較して、パラメータ共有はサンプル効率および最終的な性能でどの程度優れているか？

主な発見

• パラメータ共有により、同じベンチマークで文書化されたパラメータ共有設定と比較して、最大44倍の平均累積報酬を達成した。
• 優れた性能を達成するのに、従来のパラメータ共有実験で使用されたエピソード数のわずか16%で十分であった。
• Guptaら（2017）のMARLベンチマークスイート全体にわたり、性能向上が一貫して確認され、集中化の有効性が裏付けられた。
• 本研究は、ベンチマークセットで記録された最高の性能を確立し、パラメータ共有を用いたMARLにおける新たな最先端水準を設定した。
• 非均質なエージェントへのパラメータ共有の拡張に関する形式的証明が提供され、従来制限されていた環境でも利用可能となった。
• 結果から、パラメータ共有はMARLの訓練安定性とサンプル効率を向上させる有効でかつあまり利用されていない手法であることが確認された。