[논문 리뷰] A Joint Learning and Communication Framework for Multi-Agent Reinforcement Learning over Noisy Channels.

Tze-Yang Tung, Joan S. Pujol Roig외 2명|arXiv (Cornell University)|2021. 01. 02.

Reinforcement Learning in Robotics참고 문헌 36인용 수 4

한 줄 요약

이 논문은 노이즈 있는 채널을 환경 동역학의 필수 부분으로 간주하는 다중 에이전트 강화학습(MARL)을 위한 통합 학습 및 통신 프레임워크를 제안한다. MA-POMDP 프레임워크에 통신을 통합함으로써, 에이전트들은 신뢰할 수 없는 채널을 통해 효과적으로 협력할 수 있으며, 분리된 통신 및 학습 접근 방식보다 협업 과제에서 뛰어난 성능을 발휘한다.

ABSTRACT

We propose a novel formulation of the effectiveness problem in communications, put forth by Shannon and Weaver in their seminal work [2], by considering multiple agents communicating over a noisy channel in order to achieve better coordination and cooperation in a multi-agent reinforcement (MARL) framework. Specifically, we consider a multi-agent partially observable Markov decision process (MA-POMDP), in which the agents, in addition to interacting with the environment can also with each other over a noisy communication channel. The noisy communication channel is considered explicitly as part of the dynamics of the environment and the message each agent sends is part of the action that the agent can take. As a result, the agents learn not only to collaborate with each other but also to effectively over a noisy channel. This framework generalizes both the traditional communication problem, where the main goal is to convey a message reliably over a noisy channel, and the learning to communicate framework that has received recent attention in the MARL literature, where the underlying communication channels are assumed to be error-free. We show via examples that the joint policy learned using the proposed framework is superior to that where the communication is considered separately from the underlying MA-POMDP. This is a very powerful framework, which has many real world applications, from autonomous vehicle planning to drone swarm control, and opens up the rich toolbox of deep reinforcement for the design of multi-user communication systems.

연구 동기 및 목표

• 노이즈 있는 채널 조건에서 다중 에이전트 강화학습에서 효과적인 통신을 해결하기 위해.
• 노이즈 있는 채널을 환경 동역학의 일부로 모델링하여 기존의 통신 문제를 MARL과 통합하기 위해.
• 부분적으로 관찰 가능한 환경에서 에이전트들이 최적의 정책과 강건한 통신 전략을 함께 학습할 수 있도록 하기 위해.
• 오류 없는 통신을 전제로 하는 기존 프레임워크나 통신을 별개의 모듈로 다루는 것을 일반화하기 위해.

제안 방법

• 통신 채널을 환경 동역학의 일부로 명시적으로 모델링한 다중 에이전트 부분 관찰 가능 마르코프 결정 과정(MA-POMDP)을 수립한다.
• 각 에이전트의 메시지를 행동 공간의 일부로 간주하여 통신과 협업을 종단 간(end-to-end)으로 학습할 수 있도록 한다.
• 노이즈 있는 채널을 환경 내의 확률적 전이로 모델링하여 메시지의 신뢰성에 영향을 미친다.
• 딥 강화학습을 사용하여 정책과 통신 전략을 함께 최적화한다.
• 에이전트들이 채널 조건에 따라 메시지를 적응적으로 조정함으로써 강건성과 협업성을 향상시킨다.
• 통신을 학습 과정에 통합함으로써 기존의 프레임워크를 일반화하며, 별도의 구성 요소로 간주하지 않는다.

실험 결과

연구 질문

• RQ1 노이즈 있는 채널을 통해 통신과 협업을 동시에 학습하는 것이 분리된 학습 방식에 비해 다중 에이전트 성능을 어떻게 향상시키는가?
• RQ2 명시적인 채널 모델링이 MA-POMDP에서 정책의 강건성과 협업에 어떤 영향을 미치는가?
• RQ3 에러 없는 전송을 전제로 하지 않고도 에이전트들이 채널 노이즈에 적응하는 효과적인 통신 전략을 학습할 수 있는가?
• RQ4 제안된 프레임워크는 기존의 MARL 및 통신 전용 접근 방식에 비해 협업 품질 측면에서 어떻게 비교되는가?
• RQ5 이 프레임워크는 드론 스웜이나 자율 주행 차량과 같은 실생활 응용 분야에 어떤 의미를 갖는가?

주요 결과

• 통합 학습 프레임워크는 통신과 학습을 분리한 접근 방식에 비해 협업 성능을 크게 향상시킨다.
• 제안된 프레임워크로 훈련된 에이전트는 노이즈 있는 조건에서도 다중 에이전트 협업 과제에서 더 높은 작업 성공률를 달성한다.
• 이 프레임워크는 채널 오류에 강건한 통신 전략을 학습할 수 있도록 하여 완벽한 전송에 대한 의존도를 감소시킨다.
• MA-POMDP 동역학에 노이즈 있는 채널을 통합함으로써 더 현실적이고 효과적인 정책 학습이 가능해진다.
• 통신과 학습을 통합함으로써 기존 연구를 일반화하며, 복잡하고 노이즈가 많은 환경에서 뛰어난 성능을 보여준다.
• 이 프레임워크는 통신 신뢰성이 핵심적인 자율 주행 차량 협업 및 드론 스웜 제어와 같은 실생활 시스템에 적용 가능하다.