[논문 리뷰] Learning Structured Communication for Multi-agent Reinforcement Learning

Junjie Sheng, Xiangfeng Wang외 6명|arXiv (Cornell University)|2020. 02. 11.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 다중 에이전트 강화 학습을 위한 새로운 계층적 통신 프레임워크인 학습가능한 구조적 통신(LSC)을 제안한다. LSC는 클러스터 기반 라우팅 프로토콜을 통해 동적으로 에이전트 그룹을 형성하고, 계층적 그래프 신경망을 사용해 그룹 내 및 그룹 간 메시지 전달을 효율적으로 수행한다. LSC는 대규모 다중 에이전트 강화 학습 환경에서 뛰어난 통신 효율성, 확장성 및 협업 능력을 보이며, 경쟁적 및 협업적 과제에서 기존 방법들을 능가하여 전투 시나리오에서 최대 1.60의 글로벌 성공률을 기록한다.

ABSTRACT

This work explores the large-scale multi-agent communication mechanism under a multi-agent reinforcement learning (MARL) setting. We summarize the general categories of topology for communication structures in MARL literature, which are often manually specified. Then we propose a novel framework termed as Learning Structured Communication (LSC) by using a more flexible and efficient communication topology. Our framework allows for adaptive agent grouping to form different hierarchical formations over episodes, which is generated by an auxiliary task combined with a hierarchical routing protocol. Given each formed topology, a hierarchical graph neural network is learned to enable effective message information generation and propagation among inter- and intra-group communications. In contrast to existing communication mechanisms, our method has an explicit while learnable design for hierarchical communication. Experiments on challenging tasks show the proposed LSC enjoys high communication efficiency, scalability, and global cooperation capability.

연구 동기 및 목표

• 완전 연결형, 별자리형, 트리형, 인접 구조 등 고정된 수동 설계된 통신 구조(topology)의 한계를 해결하기 위해.
• 동적이고 학습 가능한 계층적 통신 구조를 통해 대규모 다중 에이전트 강화 학습에서 통신 효율성과 메시지 이해도를 향상시키기 위해.
• 적응형 에이전트 그룹화와 계층적 메시지 전파를 통해 복잡한 다중 에이전트 강화 학습 환경에서 글로벌 협업과 확장성을 향상시키기 위해.
• 통신 구조 학습과 정책 학습을 종단 간 미분 가능한 방식으로 통합하는 통합 프레임워크를 개발하기 위해.

제안 방법

• 클러스터 기반 라우팅 프로토콜(CBRP)은 통신 가중치를 학습하여 계층적 에이전트 그룹을 동적으로 형성함으로써 적응형 고수준 에이전트 선택을 가능하게 한다.
• 계층적 그래프 신경망(GNN)은 그룹 내 및 그룹 간 메시지 전달을 모델링하여 효과적인 정보 집약을 가능하게 한다.
• 보조 강화 학습 과제를 통해 통신 가중치 정책을 종단 간으로 학습시켜 시스템이 최적의 통신 구조를 자율적으로 조직할 수 있도록 한다.
• 통신 구조는 명시적으로 학습되며, 사전 정의된 것이 아니므로 에피소드 간에 민첩하고 확장성 있고 효율적인 구조 적응이 가능하다.
• 이 프레임워크는 그룹 간(글로벌) 및 그룹 내(로컬) 통신을 모두 지원하여 글로벌 인지 능력과 세밀한 조율 능력의 균형을 이룬다.
• 메서드는 종단 간으로 구현되며, 통신 구조와 정책이 정책 기반 강화 학습 방법을 통해 공동으로 학습된다.

실험 결과

연구 질문

• RQ1 학습 가능한 계층적 통신 구조는 대규모 다중 에이전트 강화 학습에서 통신 효율성과 확장성 향상에 기여하는가?
• RQ2 라우팅 프로토콜을 통한 동적 에이전트 그룹화는 다중 에이전트 강화 학습에서 글로벌 협업과 정책 성능에 어떤 영향을 미치는가?
• RQ3 고정된 구조와 비교할 때, GNN 기반 계층적 메시지 전달은 메시지 이해도와 정보 접근성에 얼마나 향상시키는가?
• RQ4 제안된 프레임워크는 경쟁적 및 협업적 다중 에이전트 강화 학습 환경에서 기존의 통신 메커니즘을 능가할 수 있는가?

주요 결과

• 64×64 전투 시나리오에서 LSC는 평균 보상을 1.13 기록하여 LSC-star(1.04), LSC-nbor(0.94), IDQN(0.89)을 능가했다.
• LSC는 62.9회의 성공적인 킬 수와 1.60의 글로벌 성공률을 기록하여 기준 모델들을 크게 앞서며 뚜렷한 우월성을 보였다.
• 협업형 산산 퍼짐 작업에서 LSC는 평균 보상 -54.6을 기록했으며, 156회의 성공적인 랜드마크 도달과 오직 13회의 오버로드를 기록하여 모든 기준 모델을 압도했다.
• CBRP 서브모듈은 고수준 에이전트의 밀도를 높은 밀도의 클러스터에서 단지 세 명의 에이전트로 감소시켜 통신 효율성을 향상시키고 중복을 줄였다.
• LSC는 더 나은 글로벌 정보 공유와 조율 덕분에 별자리형, 인접형, IDQN 기준 모델보다 더 빠르게 수렴하고 높은 성능을 달성했다.
• LSC가 제공하는 계층적 구조는 효과적인 글로벌 통신을 가능하게 하면서도 세밀한 로컬 조율를 유지할 수 있었으며, 이는 뛰어난 확장성과 내구성으로 이어졌다.