[논문 리뷰] Learning to Communicate with Deep Multi-Agent Reinforcement Learning

Jakob Foerster, Yannis Assael외 2명|arXiv (Cornell University)|2016. 05. 21.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 867

한 줄 요약

이 논문은 cooperative하며 부분 관찰 가능한 에이전트 간의 통신 프로토콜 학습을 위해 중앙집중 학습과 딥 네트워크를 사용하는 두 가지 방법인 RIAL과 DIAL을 도입한다.

ABSTRACT

We consider the problem of multiple agents sensing and acting in environments with the goal of maximising their shared utility. In these environments, agents must learn communication protocols in order to share information that is needed to solve the tasks. By embracing deep neural networks, we are able to demonstrate end-to-end learning of protocols in complex environments inspired by communication riddles and multi-agent computer vision problems with partial observability. We propose two approaches for learning in these domains: Reinforced Inter-Agent Learning (RIAL) and Differentiable Inter-Agent Learning (DIAL). The former uses deep Q-learning, while the latter exploits the fact that, during learning, agents can backpropagate error derivatives through (noisy) communication channels. Hence, this approach uses centralised learning but decentralised execution. Our experiments introduce new environments for studying the learning of communication protocols and present a set of engineering innovations that are essential for success in these domains.

연구 동기 및 목표

• 여러 협력 에이전트가 부분 관찰 하에서 공유 보상을 극대화하기 위해 어떻게 의사소통을 학습할 수 있는지 조사한다.
• 딥 뉴럴 네트워크에서 의사소통 프로토콜이 등장하도록 엔드-투-엔드 학습 접근법을 개발한다.
• 통신 가능 정책의 학습을 위한 중앙집중 학습과 분산 실행의 이점을 평가한다.

제안 방법

• 깊은 Q-학습과 순환 네트워크를 환경 행동과 이산적 의사소통 행동에 사용하는 Reinforced Inter-Agent Learning (RIAL)을 제안한다.
• 중앙집중 학습 중에 에이전트 간에 실수 값을 전달하고 의사소통 채널을 통해 역전파를 가능하게 하는 Differentiable Inter-Agent Learning (DIAL)을 제안한다.
• 중앙집중 학습을 가능하게 하면서 분산 실행을 보존하기 위해 파라미터 공유를 사용한다.
• 분산 실행 중 실제 값 메시지를 이산화하여 태스크의 통신 제약에 맞춘다.
• 순환 네트워크를 도입하고 에피소드 수준의 학습 다이내믹스를 포함시켜 부분 관찰 문제를 다룬다.
• Switch Riddle 및 MNIST 기반 게임을 포함한 두 개의 벤치마크 다중 에이전트 태스크로 평가한다.

실험 결과

연구 질문

• RQ1 에이전트가 부분 관찰 하에서 협력 태스크를 해결하기 위해 효과적인 통신 프로토콜을 학습할 수 있는가?
• RQ2 differentiable inter-agent communication (DIAL)가 다중 에이전트 환경에서 독립적이거나 비-미분 가능 방법(RIAL)보다 학습 이점을 제공하는가?
• RQ3 centralised learning, 파라미터 공유, 채널 이산화가 커뮤니케이션의 등장에 어떤 영향을 미치는가?
• RQ4 복잡한 태스크에서 나타나는 emergent communication 프로토콜의 유형은 무엇이며 그것들이 얼마나 해석 가능한가?

주요 결과

• RIAL과 DIAL은 중앙집중 학습과 분산 실행으로 제안된 벤치마크 태스크를 해결할 수 있다.
• 파라미터 공유를 활용한 DIAL이 대안들보다 우수하고 여러 태스크에서 RIAL보다 더 빠르게 프로토콜을 학습한다.
• differentiable communication은 더 풍부한 피드백을 제공하고 비미분 가능 방법보다 메시지 설계 및 조정에 더 효과적이다.
• 다중 에이전트 설정에서 커뮤니케이션 학습의 핵심은 파라미터 공유이다.
• DIAL은 학습 하에 연속적 프로토콜로부터 해석 가능한, 이산적 유사한 커뮤니케이션 체계의 출현을 가능하게 한다.
• 채널 소음과 DRU를 통한 정규화가 학습된 커뮤니케이션 전략과 학습 다이내믹스에 영향을 미친다.