[논문 리뷰] ACCNet: Actor-Coordinator-Critic Net for "Learning-to-Communicate" with Deep Multi-agent Reinforcement Learning

Hangyu Mao, Zhibo Gong외 2명|arXiv (Cornell University)|2017. 06. 10.

Reinforcement Learning in Robotics참고 문헌 33인용 수 40

한 줄 요약

이 논문은 부분적으로 관찰 가능한 환경에서 완전히 협력적인 에이전트가 통신 프로토콜을 처음부터 학습할 수 있도록 하는 새로운 딥 다중에이전트 강화학습 프레임워크인 ACCNet을 제안한다. 액터-크리틱 아키텍처를 중심화된 조율자와 통합함으로써 ACCNet—특히 A-CCNet 버전—는 뛰어난 일반화 성능를 달성하고 추론 시 통신이 필요로 하지 않으며, 연속적이고 이산적인 행동 공간 모두에서 기존의 기준보다 뛰어난 성능을 보인다.

ABSTRACT

Communication is a critical factor for the big multi-agent world to stay organized and productive. Typically, most previous multi-agent "learning-to-communicate" studies try to predefine the communication protocols or use technologies such as tabular reinforcement learning and evolutionary algorithm, which can not generalize to changing environment or large collection of agents. In this paper, we propose an Actor-Coordinator-Critic Net (ACCNet) framework for solving "learning-to-communicate" problem. The ACCNet naturally combines the powerful actor-critic reinforcement learning technology with deep learning technology. It can efficiently learn the communication protocols even from scratch under partially observable environment. We demonstrate that the ACCNet can achieve better results than several baselines under both continuous and discrete action space environments. We also analyse the learned protocols and discuss some design considerations.

연구 동기 및 목표

• 기존의 다중에이전트 '의사소통 학습' 기법들이 사전 정의된 프로토콜이나 스케일링이 어려운 기법들(예: 표본 기반 강화학습 및 진화 알고리즘)에 의존하는 한계를 해결하기 위해.
• 제한된 대역폭이 있는 부분 관찰 가능하고 분산된 환경에서 종단 간 통신 프로토콜 학습을 가능하게 하기 위해.
• 연속적이고 이산적인 행동 공간을 모두 지원하면서도 훈련 안정성을 유지하는 확장 가능한 일반화 가능한 프레임워크를 개발하기 위해.
• 실제 적용 가능성 향상을 위해 추론 시 통신이 필요로 하지 않는 통신 프로토콜 훈련의 가능성을 탐색하기 위해.
• 중앙집중적 훈련과 조율자(코ordinatior)의 역할이 협력적 다중에이전트 강화학습에서 정책 학습과 일반화를 향상시키는 데 기여하는 방식을 조사하기 위해.

제안 방법

• AC-CNet(크리틱을 통해 액터를 조율하는 방식)와 A-CCNet(코ordinatior를 통해 크리틱을 조율하는 방식)를 모두 사용하는 이중 개념 프레임워크인 ACCNet을 제안한다. 두 방식 모두 딥 액터-크리틱 RL을 기반으로 한다.
• 훈련 중 다중에이전트 경험을 집계하고 처리하기 위해 중심화된 조율자를 활용함으로써, 부분 관찰 가능성에도 불구하고 더 안정적인 정책 업데이트를 가능하게 한다.
• 모든 에이전트의 경험을 동시에 타임스텝에서 샘플링하여 시간적 일관성을 유지하는 새로운 경험 리플레이 메커니즘인 CER(Concurrent Experience Replay)를 도입한다.
• 현재 에피소드의 경험을 에피소드 종료 시 메인 리플레이 버퍼와 결합하는 시간 우선 리플레이 방법인 CEER(Current Episode Experience Replay)를 제안한다.
• 활성화 함수 선택 전략을 적용: 이산 행동에는 ReLU를, 민감한 연속 행동에는 ELU나 시그모이드와 같은 비선형 함수를 사용하여 상태 정보를 유지한다.
• 딥 신경망을 활용해 통신 메시지를 압축함으로써 메시지 차원을 제한하고 대역폭 효율성을 높여 '공간적 희소성'을 달성한다.

실험 결과

연구 질문

• RQ1 딥 액터-크리틱 강화학습을 사용하여 부분 관찰 가능한 환경에서 다중에이전트 시스템이 처음부터 효과적인 통신 프로토콜을 학습할 수 있는가?
• RQ2 훈련 중 중심화된 조율자를 포함할 경우 협력적 다중에이전트 강화학습에서 정책 학습과 일반화에 어떤 영향을 미치는가?
• RQ3 A-CCNet 버전은 부분 관찰 가능성에도 불구하고 추론 시 통신이 필요로 하지 않음에도 불구하고 뛰어난 성능을 달성할 수 있는가?
• RQ4 CER 및 CEER와 같은 경험 리플레이 전략이 비동기적인 경험을 가진 다중에이전트 시스템의 훈련 안정성에 어떤 역할을 하는가?
• RQ5 딥 러닝 기반 압축 및 게이팅 메커니즘을 사용하여 통신을 대역폭 효율적이고 시간적으로 희소하게 만들 수 있는가?

주요 결과

• AC-CNet과 A-CCNet 모두 연속적 및 이산적 행동 공간을 가진 단순한 다중에이전트 환경에서 기준 기법들보다 뛰어난 성능을 달성한다.
• 복잡한 환경에서는 A-CCNet이 훨씬 뛰어난 일반화 성능를 보이며, 완전히 관찰 가능한 모델과 거의 동일한 성능를 기록한다.
• CER 및 CEER 경험 리플레이 메커니즘의 사용은 부분 관찰 설정에서 비동기적인 에이전트 경험을 가진 시스템에서 훈련 안정성을 향상시킨다.
• A-CCNet 버전은 통신이 없는 추론을 가능하게 하면서도 높은 성능를 유지하므로, 대역폭 제약이 있는 실세계 시스템에 대한 구현에 적합하다.
• 적절한 활성화 함수 선택—예를 들어 이산 행동에는 ReLU, 연속 행동에는 비선형 함수—은 정책 정확도와 안정성을 향상시킨다.
• 딥 신경망 기반 메시지 압축은 통신 신호의 '공간적 희소성'을 가능하게 하여 성능에 손상을 주지 않으면서도 대역폭 사용을 줄인다.