[논문 리뷰] Parameter Sharing Deep Deterministic Policy Gradient for Cooperative Multi-agent Reinforcement Learning

Xiangxiang Chu, Hangjun Ye|arXiv (Cornell University)|2017. 10. 01.

Reinforcement Learning in Robotics참고 문헌 7인용 수 54

한 줄 요약

이 논문은 지역 관찰 하에서 협력적 다중 에이전트 강화학습을 확장하기 위한 매개변수 공유 Deep Deterministic Policy Gradient 변형을 도입하여 학습 속도와 메모리 효율성을 향상시킨다.

ABSTRACT

Deep reinforcement learning for multi-agent cooperation and competition has been a hot topic recently. This paper focuses on cooperative multi-agent problem based on actor-critic methods under local observations settings. Multi agent deep deterministic policy gradient obtained state of art results for some multi-agent games, whereas, it cannot scale well with growing amount of agents. In order to boost scalability, we propose a parameter sharing deterministic policy gradient method with three variants based on neural networks, including actor-critic sharing, actor sharing and actor sharing with partially shared critic. Benchmarks from rllab show that the proposed method has advantages in learning speed and memory efficiency, well scales with growing amount of agents, and moreover, it can make full use of reward sharing and exchangeability if possible.

연구 동기 및 목표

• 지역 관찰 하에서 협력적 다중 에이전트 RL의 동기를 부여하고 늘어나는 에이전트 수에 따른 확장성 문제를 다룬다.
• 훈련 효율성과 메모리 사용을 향상시키기 위해 DDPG의 매개변수 공유 변형을 개발한다.
• 가능한 경우 보상 공유 및 교환성에 대한 공유 메커니즘의 이점을 보여준다.

제안 방법

• 세 가지 변형을 제안한다: 액터-크리틱 공유, 액터 공유, 그리고 부분적으로 공유된 크리틱을 가진 액터 공유.
• 혁신의 기반은 Deep Deterministic Policy Gradient 프레임워크에 있다.
• 공유 전략을 구현하기 위해 신경망을 사용한다.
• 학습 속도, 메모리 효율성 및 확장성을 평가하기 위해 rllab의 벤치마크를 사용한다.

실험 결과

연구 질문

• RQ1 지역 관찰 하에서 협력적 다중 에이전트 RL에서 매개변수 공유가 학습 속도에 어떤 영향을 미치는가?
• RQ2 제안된 변형들에서 에이전트 수에 따라 메모리 사용량이 어떻게 확장되는가?
• RQ3 가능한 경우 제안된 공유 체계가 보상 공유 및 교환성을 효과적으로 활용하도록 하는가?
• RQ4 어떤 변형(액터-크리틱 공유, 액터 공유, 또는 부분적으로 공유된 크리틱)이 성능과 확장성 사이에서 가장 좋은 균형을 제공하는가?

주요 결과

• 매개변수 공유 변형은 학습 속도와 메모리 효율성에서 장점을 보인다.
• 방법들이 에이전트 수가 증가함에 따라 더 잘 확장된다.
• 가능할 때 이 접근법은 보상 공유 및 교환성을 활용할 수 있다.