[論文レビュー] Parameter Sharing Deep Deterministic Policy Gradient for Cooperative Multi-agent Reinforcement Learning

Xiangxiang Chu, Hangjun Ye|arXiv (Cornell University)|Oct 1, 2017

Reinforcement Learning in Robotics参考文献 7被引用数 54

ひとこと要約

この論文は、局所観測下で協調的な多エージェント強化学習をスケールさせるためのパラメータ共有 Deep Deterministic Policy Gradient variants を導入し、学習速度とメモリ効率を向上させる。

ABSTRACT

Deep reinforcement learning for multi-agent cooperation and competition has been a hot topic recently. This paper focuses on cooperative multi-agent problem based on actor-critic methods under local observations settings. Multi agent deep deterministic policy gradient obtained state of art results for some multi-agent games, whereas, it cannot scale well with growing amount of agents. In order to boost scalability, we propose a parameter sharing deterministic policy gradient method with three variants based on neural networks, including actor-critic sharing, actor sharing and actor sharing with partially shared critic. Benchmarks from rllab show that the proposed method has advantages in learning speed and memory efficiency, well scales with growing amount of agents, and moreover, it can make full use of reward sharing and exchangeability if possible.

研究の動機と目的

• 局所観測下での協調的な多エージェント RL を動機づけ、エージェント数が増えることによるスケーラビリティの課題に対処する。
• 学習効率とメモリ使用量を改善するためのパラメータ共有 variants of DDPG の開発。
• 報酬共有と交換可能性が適用される場合の共有メカニズムの利点を示す。

提案手法

• 3つのバリアント: actor-critic sharing、actor sharing、および部分的に共有された critic を備えた actor sharing を提案する。
• Deep Deterministic Policy Gradient framework に基づく革新である。
• 共有戦略を実装するためにニューラルネットワークを使用する。
• 学習の速度、メモリ効率、スケーラビリティを評価するために、rllab のベンチマークを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 局所観測下での協調型多エージェント RL における学習速度にパラメータ共有はどのような影響を与えるか？
• RQ2 提案されたバリアントのエージェント数の増加に伴うメモリ使用量はどのようにスケールするか？
• RQ3 報酬共有と交換可能性が可能な場合、提案された共有スキームは効果的な利用を可能にするか？
• RQ4 どのバリアント（actor-critic sharing、actor sharing、または partially shared critic） がパフォーマンスとスケーラビリティの最良のトレードオフを提供するか？

主な発見

• パラメータ共有バリアントは学習速度とメモリ効率に利点を示す。
• エージェント数が増えるにつれて方法がよりスケールする。
• アプローチは可能な場合、報酬共有と交換可能性を活用できる。