[논문 리뷰] Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients

Arbaaz Khan, Clark Zhang외 3명|arXiv (Cornell University)|2018. 05. 22.

Reinforcement Learning in Robotics참고 문헌 29인용 수 17

한 줄 요약

이 논문은 다수의 에이전트 간에서 공유 정책을 학습하기 위해 분산 정책 기울기 최적화를 사용하는 확장 가능한 중심집중형 딥 다중에이전트 강화학습 알고리즘인 DIMAPG를 제안한다. 에이전트 정책이 매개변수 공간에서 유사하다는 가정 하에, 협동적이고 경쟁적인 과제에서 효율적으로 공동 행동을 학습하며, 특히 에이전트 수가 증가할수록 MADDPG 및 중심집중형 '키치엔 킷' 방법과 같은 기존 기준보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we explore using deep reinforcement learning for problems with multiple agents. Most existing methods for deep multi-agent reinforcement learning consider only a small number of agents. When the number of agents increases, the dimensionality of the input and control spaces increase as well, and these methods do not scale well. To address this, we propose casting the multi-agent reinforcement learning problem as a distributed optimization problem. Our algorithm assumes that for multi-agent settings, policies of individual agents in a given population live close to each other in parameter space and can be approximated by a single policy. With this simple assumption, we show our algorithm to be extremely effective for reinforcement learning in multi-agent settings. We demonstrate its effectiveness against existing comparable approaches on co-operative and competitive tasks.

연구 동기 및 목표

• 에이전트 수가 증가할 때 기존 딥 다중에이전트 강화학습(MARL) 방법의 확장성 한계를 해결한다.
• 에이전트 수가 많은 분산 MARL 프레임워크에서 차원의 극복 문제와 샘플 비효율성을 극복한다.
• 중앙집중적 경험과 분산 최적화를 사용해 모든 에이전트에 대해 단일 공유 정책을 학습시켜 대규모 다중에이전트 시스템에서 효과적인 학습을 가능하게 한다.
• 에이전트 수가 증가함에 따라 협동 주행, 사냥-도망, 생존 과제에서 최신 기준 기준보다 뛰어난 성능을 입증한다.

제안 방법

• 각 에이전트가 국소 기울기를 사용해 공유 중심 정책을 향상시키는 분산 최적화 작업으로 MARL 문제를 공식화한다.
• 공동 상태-행동 가치를 계산하기 위해 중심집중형 크리틱을 사용하고, 기울기를 역전파하여 공유 정책 매개변수를 업데이트한다.
• 각 에이전트의 국소 정책 적응이 중심 정책 업데이트에 영향을 주도록 정책 기울기 업데이트를 적용함으로써 에이전트 간 일관성을 유지한다.
• 계산적 트레이드오프가 수반되지만, 두 번째 차수 기울기를 근사하여 정책 업데이트를 효율적으로 개선한다.
• 모든 에이전트에 대해 단일 공유 정책을 학습하며, 매개변수 공간에서 정책이 유사하다는 가정 하에 잠재적 공동 행동을 유도한다.
• 추론 시 학습된 정책을 모든 에이전트에 균일하게 배포하여 대칭성과 확장성을 보장한다.

실험 결과

연구 질문

• RQ1 분산 최적화를 통해 학습된 단일 공유 정책이 대규모 다중에이전트 환경에 효과적으로 확장될 수 있는가?
• RQ2 에이전트 수가 증가함에 따라 제안된 방법의 성능이 분산 및 중심집중 기준 기준과 비교해 어떻게 되는가?
• RQ3 매개변수 공간에서 에이전트 정책이 유사하다는 가정이 대규모 MARL에서 효과적인 일반화와 샘플 효율성을 가능하게 하는가?
• RQ4 공유 정책 학습을 통한 중심집중 프레임워크가 다중에이전트 환경에서 개별 정책 학습보다 얼마나 뛰어나게 성능을 냈는가?
• RQ5 복잡한 상호작용을 포함한 다중에이전트 환경에서 비정상성과 책임 할당 문제를 어떻게 다루는가?

주요 결과

• DIMAPG는 최대 10명의 에이전트가 참여하는 협동 주행 과제에서 효과적인 정책을 학습하며, 유일하게 빠르게 수렴한다.
• 12대1 및 3대1 사냥-도망 과제에서, DIMAPG는 MADDPG 및 중심집중형 '키치엔 킷' 방법보다 평균 사냥기의 보상을 더 높게 기록하며, 특히 속도 차이가 클수록 성능이 뛰어나다.
• 생존 과제에서 630명의 에이전트를 대상으로 하였을 때, DIMAPG는 평균 에피소드 보상 674를 기록했으며, 생존자는 490명, 남은 음식은 0개로, 효과적인 협력과 생존 전략을 보였다.
• N=230명일 경우 평균 보상은 946이며, 생존자는 227명, 음식은 0개로 남아 있어, 에이전트들이 공격 없이 협력하여 음식을 모으는 것을 학습했다는 것을 보여준다.
• 단일 에이전트 최적화 및 개별 정책 학습보다 성능이 뛰어나, 공유 정책 학습이 독립적 적응보다 더 효과적임을 확인했다.
• 공유 정책 θ와 k-샷 적응 정책 θ’가 거의 동일한 성능을 기록함으로써, 정책이 매개변수 공간에서 유사하다는 가설이 검증되었다.