[논문 리뷰] Networked Multi-Agent Reinforcement Learning with Emergent Communication

Shubham Gupta, Rishi Hazra외 1명|arXiv (Cornell University)|2020. 04. 06.

Reinforcement Learning in Robotics참고 문헌 30인용 수 10

한 줄 요약

이 논문은 부분 관측 환경에서 협력하는 에이전트들이 기반 네트워크 구조를 갖춘 네트워크 기반 다중 에이전트 강화 학습 프레임워크를 제안한다. 이 프레임워크는 고정된 네트워크 구조를 통해 기호 메시지를 교환하도록 훈련시켜 협동적 의사결정을 가능하게 하며, 교통 관리 등에서 최신 기준 성능을 달성한다. 또한 기원하는 언어가 행동에 기반하고 네트워크 구조에 의해 형성된다는 점을 입증한다.

ABSTRACT

Multi-Agent Reinforcement Learning (MARL) methods find optimal policies for agents that operate in the presence of other learning agents. Central to achieving this is how the agents coordinate. One way to coordinate is by learning to communicate with each other. Can the agents develop a language while learning to perform a common task? In this paper, we formulate and study a MARL problem where cooperative agents are connected to each other via a fixed underlying network. These agents can communicate along the edges of this network by exchanging discrete symbols. However, the semantics of these symbols are not predefined and, during training, the agents are required to develop a language that helps them in accomplishing their goals. We propose a method for training these agents using emergent communication. We demonstrate the applicability of the proposed framework by applying it to the problem of managing traffic controllers, where we achieve state-of-the-art performance as compared to a number of strong baselines. More importantly, we perform a detailed analysis of the emergent communication to show, for instance, that the developed language is grounded and demonstrate its relationship with the underlying network topology. To the best of our knowledge, this is the only work that performs an in depth analysis of emergent communication in a networked MARL setting while being applicable to a broad class of problems.

연구 동기 및 목표

• 고정된 네트워크 구조에 제약을 받는 협력적 다중 에이전트 시스템에서 기원하는 의사소통을 연구한다.
• 사전 정의된 의미가 없는 이산 기호적 의사소통을 학습하여 협동하는 가용성 있는 MARL 방법을 개발한다.
• 실제 적용 가능한 과제인 교통 관리와 같은 과제에서 기원하는 언어의 유용성과 구조를 평가한다.
• 네트워크 구조가 기원하는 의사소통의 형성과 일관성에 미치는 영향을 분석한다.
• 기원하는 언어가 물리적 행동에 기반하고 있으며 네트워크의 구조적 관계를 반영한다는 점을 입증한다.

제안 방법

• 에이전트들은 고정된 네트워크에 연결되어 에 bord 간 이산 기호를 사용해 의사소통하며, 사전 정의된 의미가 없다.
• 에이전트들이 공통 누적 보상을 최대화하도록 엔드 투 엔드로 딥 강화 학습을 사용해 의사소통 프로토콜을 훈련시킨다.
• 어휘 임베딩은 어텐션 메커니즘에서 유도되며, t-SNE를 통해 언어적 구조와 기반성 여부를 평가한다.
• 메시지-응답 행렬에서 행동 임베딩을 계산하여 에이전트 간 메시지 사용의 일관성을 평가한다.
• 메시지 빈도에서 tf-idf 행렬을 구성하여 어휘 분포와 공동체 수준의 의사소통 패턴을 분석한다.
• 임베딩의 t-SNE 시각화는 행동과 네트워크 내 구조적 공동체에 해당하는 클러스터를 드러낸다.

실험 결과

연구 질문

• RQ1 네트워크 기반 MARL에서 기원하는 의사소통은 협동 과제의 조율과 성능 향상에 기여하는가?
• RQ2 기원하는 언어는 특정 기호가 일관되게 특정 행동을 나타내는 바탕이 되는가, 즉 행동에 기반하는가?
• RQ3 기본 네트워크 구조는 기원하는 의사소통 프로토콜의 구조와 일관성에 어떻게 영향을 미치는가?
• RQ4 직접적인 의사소통이 네트워크 구조로 인해 제한되더라도, 에이전트들이 공통의 기능적 언어를 개발할 수 있는가?
• RQ5 네트워크의 구조적 공동체와 일치하는 의사소통 패턴에서 검출 가능한 공동체가 존재하는가?

주요 결과

• 제안된 방법은 강력한 기준 대비 교통 관리 분야에서 최신 기준 성능을 달성하여 기원하는 의사소통의 실용성을 입증한다.
• 어휘 임베딩의 t-SNE 시각화는 특정 행동에 해당하는 명확한 클러스터를 보여주며, 기원하는 언어가 행동에 기반하고 있음을 시사한다.
• 공통 이웃을 공유하는 에이전트들은 높은 유사도를 보이는 행동 임베딩을 가지며, 동일한 행동에 대해 일관되게 메시지를 사용함을 시사한다.
• tf-idf 행렬과 t-SNE 플롯은 같은 수신자에게 메시지를 방송하는 에이전트들이 구조적으로 일관된 의사소통 그룹을 형성함을 보여주며, 네트워크 구조를 반영한다.
• 더 큰 네트워크에서는 의사소통 공간에 두 개의 명확한 공동체가 나타나며, 겹치는 어휘는 공동체 간 공통 언어 요소가 있음을 시사한다.
• 결과는 기원하는 의사소통이 임의적이지 않으며, 기반 네트워크 구조에 의해 형성되며, 구조적 근접성이 언어 일관성에 영향을 미친다는 것을 확인한다.