[논문 리뷰] R-MADDPG for Partially Observable Environments and Limited Communication

Rose E. Wang, Michael Everett외 1명|arXiv (Cornell University)|2020. 02. 16.

Reinforcement Learning in Robotics참고 문헌 25인용 수 64

한 줄 요약

R-MADDPG를 도입하는 순환적 다중 에이전트 액터-크리틱 프레임워크로, 부분 관찰성 및 제한된 통신 하에서의 조정을 다루며, 순환 크리틱이 현실 세계에 유사한 MARL 태스크에서 학습에 결정적임을 보여준다.

ABSTRACT

There are several real-world tasks that would benefit from applying multiagent reinforcement learning (MARL) algorithms, including the coordination among self-driving cars. The real world has challenging conditions for multiagent learning systems, such as its partial observable and nonstationary nature. Moreover, if agents must share a limited resource (e.g. network bandwidth) they must all learn how to coordinate resource use. This paper introduces a deep recurrent multiagent actor-critic framework (R-MADDPG) for handling multiagent coordination under partial observable set-tings and limited communication. We investigate recurrency effects on performance and communication use of a team of agents. We demonstrate that the resulting framework learns time dependencies for sharing missing observations, handling resource limitations, and developing different communication patterns among agents.

연구 동기 및 목표

• 실제 세계 MARL 설정에서 부분 관찰성, 비정상성 및 상호 에이전트 간 제한된 통신을 해결한다.
• 이동 정책과 통신 정책을 함께 학습하는 순환적 다중 에이전트 액터-크리틱 모델을 개발한다.
• 부분 관찰성과 통신 제약에서의 학습에 대해 순환 크리틱의 중요성을 입증한다.
• 복제 및 확장을 위한 R-MADDPG의 오픈 소스 구현을 제공한다.

제안 방법

• MADDPG를 다중 에이전트 조정을 위한 완전 순환적 액터-크리틱 아키텍처로 확장한다.
• 물리적 내비게이션과 통신용의 두 정책을 병렬로 학습한다.
• 액터와 크리틱에서 순환성의 역할을 연구하기 위해 세 가지 순환 모델 변형을 사용한다.
• 비정상성을 완화하기 위해 모든 에이전트의 관찰 및 행동을 포함하는 중앙집중식 크리틱으로 학습한다.
• 부분 관찰성 및 제한된 통신 예산에서 성능과 출현하는 통신 패턴을 분석하기 위한 평가를 수행한다.
• 참고된 GitHub 저장소에서 오픈 소스 구현을 제공한다.

실험 결과

연구 질문

• RQ1 부분 관찰성 및 제한된 통신 하에서 순환적 아키텍처가 효과적인 조정을 가능하게 하는가?
• RQ2 부분 관찰 MARL 설정에서 학습에 순환 크리틱이 필수적인가? 순환 액터만 사용하는 경우와의 차이는 무엇인가?
• RQ3 통신 예산이 조정 성능 및 emergent 전략에 어떤 영향을 미치는가?
• RQ4 대역폭이 제한될 때 출현하는 통신 및 조정 패턴은 무엇인가?

주요 결과

• 완전 순환적 액터-크리틱 모델이 부분 관찰성 및 통신 제한 하에서 학습을 가능하게 한다.
• 순환 크리틱은 부분 관찰적 다중에이전트 환경에서 학습을 가능하게 하는 결정적 구성요소이며, 순환 액터만으로는 충분하지 않다.
• MADDPG는 부분 관찰성과 제한된 통신 하에서 어려움을 겪으며 크리틱의 순환성이 필요함을 강조한다.
• 통신 예산을 늘리면 성능이 향상되고 보상 분산이 감소하며, 대역폭과 협조 품질 간의 trade-off를 시사한다.
• R-MADDPG는 다양한 통신 예산 하에서 목표 도착을 조정적으로 달성하며, 제한된 메시지 하에서 대기하거나 동시 도착을 맞추는 출현 패턴이 나타난다.