[論文レビュー] Shared Experience Actor-Critic for Multi-Agent Reinforcement Learning

Filippos Christianos, Lukas Schäfer+1 more|arXiv (Cornell University)|Jun 12, 2020

Reinforcement Learning in Robotics参考文献 40被引用数 22

ひとこと要約

本稿では、自己の経験からの勾配と、他のエージェントの経験からの重み付き勾配を組み合わせることで、探索を向上させるマルチエージェント強化学習アルゴリズムであるShared Experience Actor-Critic (SEAC)を提案する。SEACは、スパarsely-rewarded環境において、独立学習、共有ポリシー学習、MADDPG や QMIX といった最先端のマルチエージェント強化学習（MARL）手法を上回り、最適性能に到達するための訓練ステップを最大70%も削減する。計算コストの増加は3%未満に抑えられる。

ABSTRACT

Exploration in multi-agent reinforcement learning is a challenging problem, especially in environments with sparse rewards. We propose a general method for efficient exploration by sharing experience amongst agents. Our proposed algorithm, called Shared Experience Actor-Critic (SEAC), applies experience sharing in an actor-critic framework. We evaluate SEAC in a collection of sparse-reward multi-agent environments and find that it consistently outperforms two baselines and two state-of-the-art algorithms by learning in fewer steps and converging to higher returns. In some harder environments, experience sharing makes the difference between learning to solve the task and not learning at all.

研究の動機と目的

• スパarsely-rewarded環境において、エージェントが協調的な行動を発見しにくいため、マルチエージェント強化学習における非効率な探索の課題に取り組むこと。
• エージェントが異なる速度で学習を進めることで協調性が損なわれ、全体のサンプル効率が低下する問題を克服すること。
• 複雑なアーキテクチャや追加のネットワーク、ハイパーパramータチューニングを必要としない、シンプルでスケーラブルな経験共有手法を開発すること。
• 独立学習や集中型学習と比較して、他のエージェントからの経験を共有することで、学習速度と最終的なパフォーマンスが著しく向上するかどうかを評価すること。
• 個々のエージェントが限られた探索成功を示しても、経験共有が協調的ポリシーの学習をより効果的に可能にするかどうかを示すこと。

提案手法

• SEACは、各エージェントが自身の勾配と、他のエージェントの経験からの重み付き勾配を組み合わせて、ポリシーと価値関数を更新するアクター・クリティックフレームワーク内で動作する。
• 各エージェントの局所的勾配と、他のエージェントの軌道からの重要度重み付き勾配を組み合わせることで、同一ポリシーを必要とせずに共有学習を実現する。
• オフポリシー更新の不一致を補正するため、重要度サンプリングを適用し、非同一ポリシーからの経験を使用しても学習の安定性を確保する。
• アルゴリズムは分散型実行を維持しており、テスト時にはエージェントが独立して行動できる一方で、集中型学習による共有経験の恩恵を受ける。
• MADDPG や COMA とは異なり、共同行動価値関数や複雑なクリティックを学習しないことで、アーキテクチャの複雑さを低減する。
• アプローチは計算的に軽量であり、独立学習と比較して3%未満の追加コストに抑えられ、追加のパラメータチューニングも不要である。

実験結果

リサーチクエスチョン

• RQ1 エージェント間で経験を共有することで、スパarsely-rewarded環境におけるマルチエージェント強化学習のサンプル効率が向上するか？
• RQ2 経験共有は、エージェントが異なる速度で学習を進めることによる協調性の損ないやパフォーマンス低下の問題を緩和するか？
• RQ3 MADDPG、QMIX、ROMA といった最先端のMARLアルゴリズムと比較して、SEACの学習速度と最終報酬はどのように異なるか？
• RQ4 個々のエージェントの探索が限られている状況でも、経験共有が協調的ポリシーの学習をどの程度促進するか？
• RQ5 シンプルで軽量な経験共有メカニズムが、マルチエージェント環境においてより複雑な集中型学習手法を上回る性能を発揮できるか？

主な発見

• SEACは、スパarsely-rewarded環境において、独立学習と比較して最適パフォーマンスに到達するための訓練ステップを最大70%も削減した。
• LBF や RWARE のような環境では、MADDPG が完全に学習に失敗するのに対し、SEACは学習を可能にした。これは、より優れたサンプル効率とロバストネスを示している。
• SEACは、最終報酬と学習速度の両面で、共有ポリシー学習や QMIX や ROMA といった最先端のアルゴリズムを一貫して上回った。
• SEACで訓練されたエージェントは、ほぼ同等の速度で向上を示し、独立学習（IAC）で見られる学習進捗の乖離問題を回避した。その結果、最適でないパフォーマンスにとどまらなかった。
• 独立学習と比較して、SEACは3%未満の追加計算コストしか追加しなかったため、実世界への導入に非常に効率的で実用的であった。
• SEACにおける重要度サンプリングは、標準的なオフポリシーRLとは異なり、顕著な学習不安定性を引き起こさなかった。これは、適切な重み付けを伴う経験共有が安定的かつ効果的であることを示している。