[논문 리뷰] A Visual Communication Map for Multi-Agent Deep Reinforcement Learning

Ngoc Duy Nguyen, Thanh Thi Nguyen외 2명|arXiv (Cornell University)|2020. 01. 01.

Reinforcement Learning in Robotics참고 문헌 50인용 수 5

한 줄 요약

이 논문은 에이전트 상태를 전역적으로 시각적으로 표시하는 시각적 통신 맵(VCM)을 제안하여 이질적이고 스케일러블인 다중 에이전트 딥 강화학습을 가능하게 한다. 환경 관측값과 함께 공유 컨볼루션 네트워크(ConvNet)에 통합된 VCM은 학습 효율성과 강건성을 향상시키며, 산업용 3에이전트 환경에서 표준 A3C 대비 200% 높은 성능을 기록한다.

ABSTRACT

Deep reinforcement learning has been applied successfully to solve various real-world problems and the number of its applications in the multi-agent settings has been increasing. Multi-agent learning distinctly poses significant challenges in the effort to allocate a concealed communication medium. Agents receive thorough knowledge from the medium to determine subsequent actions in a distributed nature. Apparently, the goal is to leverage the cooperation of multiple agents to achieve a designated objective efficiently. Recent studies typically combine a specialized neural network with reinforcement learning to enable communication between agents. This approach, however, limits the number of agents or necessitates the homogeneity of the system. In this paper, we have proposed a more scalable approach that not only deals with a great number of agents but also enables collaboration between dissimilar functional agents and compatibly combined with any deep reinforcement learning methods. Specifically, we create a global communication map to represent the status of each agent in the system visually. The visual map and the environmental state are fed to a shared-parameter network to train multiple agents concurrently. Finally, we select the Asynchronous Advantage Actor-Critic (A3C) algorithm to demonstrate our proposed scheme, namely Visual communication map for Multi-agent A3C (VMA3C). Simulation results show that the use of visual communication map improves the performance of A3C regarding learning speed, reward achievement, and robustness in multi-agent problems.

연구 동기 및 목표

• 다중 에이전트 딥 강화학습에서 이질적이고 다수의 에이전트 간의 통신을 가능하게 하는 도전 과제를 해결한다.
• 에이전트의 동일성 요구나 확장성 제약을 초래하는 이전 방법의 한계를 극복한다.
• 어떤 딥 강화학습 알고리즘과도 호환되는 통신 메커니즘을 개발한다.
• 비정적이고 확률적인 다중 에이전트 환경에서 학습 속도, 보상 달성도, 강건성을 향상시킨다.

제안 방법

• 각 에이전트의 현재 상태를 모든 에이전트가 볼 수 있는 시각적 지표로 표현하는 전역 시각적 통신 맵을 구축한다.
• 색상, 형태, 위치 등의 시각적 특징을 사용하여 에이전트 상태를 표현함으로써 공유되고 인지 가능한 통신 수단을 형성한다.
• 시각적 통신 맵과 환경 상태를 함께 공유 파rameter를 가진 컨볼루션 네트워크(ConvNet)에 입력하여 통합된 표현 학습을 수행한다.
• 완전 연결 네트워크와 정책 헤드를 사용하여 통합된 시각적 및 환경 입력 기반으로 행동을 예측한다.
• VCM을 异상적 이득 액터-크리틱(A3C) 알고리즘과 통합하여 VMA3C 프레임워크를 도입한다.
• 각 에이전트가 명시적인 통신 프로토콜 없이도 공유된 시각적 신호를 활용해 행동을 조율할 수 있도록 탈중앙화된 자기학습 정책 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모 이질적 에이전트 집단 간의 협업을 위해 시각적 통신 맵이 효과적으로 작용할 수 있는가?
• RQ2 표준 A3C 대비 시각적 통신 맵이 학습 속도, 최종 성능, 강건성 향상에 어떻게 기여하는가?
• RQ3 VCM 프레임워크가 특정 강화학습 알고리즘에서 분리되어도 효과를 유지할 수 있는가?
• RQ4 노이즈가 있거나 관측 지연이 발생하는 등의 확률적 조건에서 이 방법은 어떻게 성능을 발휘하는가(오류율 범위: 2%에서 5%)?
• RQ5 복잡하고 동적인 비정적 환경을 가진 실제 산업적 다중 에이전트 작업을 VCM이 처리할 수 있는가?

주요 결과

• 두 에이전트의 밀 팩토리 설정에서, VMA3C는 12시간의 학습 후 표준 A3C 대비 최대 보상 200% 높게 기록했다.
• 세 에이전트 설정에서 VMA3C는 피크 총 보상 900을 기록했고, 동일한 학습 기간 동안 A3C는 300에 머물렀다.
• VMA3C는 오류율 2%에서 5%까지 다양한 수준에서 뛰어난 성능을 유지하며, 확률적 환경에서도 고보상을 유지했다.
• 시각적 통신 맵은 이중 및 삼중 에이전트 구성 모두에서 학습 속도를 크게 향상시키고 정책 수렴을 개선했다.
• A3C는 높은 오류율에서 성능이 저하되었지만, VMA3C는 안정적이고 효과적으로 유지되어 환경 노이즈에 대한 뛰어난 강건성을 보였다.
• 이 방법은 밀 팩토리 환경에서 두 대의 픽업 로봇과 한 대의 메커닉 로봇이 동시에 작동하도록 가능하게 하여 확장성과 조율 능력을 입증했다.