[논문 리뷰] TarMAC: Targeted Multi-Agent Communication

Abhishek Das, Théophile Gervet외 5명|arXiv (Cornell University)|2018. 10. 26.

Reinforcement Learning in Robotics참고 문헌 9인용 수 26

한 줄 요약

TarMAC는 다중 에이gent 강화학습을 위한 타겟팅된 다중 라운드 통신 프레임워크를 제안하며, 감독 없이 소프트 주의 메커니즘을 사용해 특정 수신자에게 메시지를 보낼 수 있도록 에이전트가 학습한다. 다양한 환경, 즉 2D 격자, 교통 분기점, 3D 탐색 환경에서 협동 및 경쟁 작업에서 성능과 샘플 효율성을 향상시키며, 해석 가능한 주의 패턴과 혼합 환경으로의 강력한 일반화 성능을 보인다.

ABSTRACT

We propose a targeted communication architecture for multi-agent reinforcement learning, where agents learn both what messages to send and whom to address them to while performing cooperative tasks in partially-observable environments. This targeting behavior is learnt solely from downstream task-specific reward without any communication supervision. We additionally augment this with a multi-round communication approach where agents coordinate via multiple rounds of communication before taking actions in the environment. We evaluate our approach on a diverse set of cooperative multi-agent tasks, of varying difficulties, with varying number of agents, in a variety of environments ranging from 2D grid layouts of shapes and simulated traffic junctions to 3D indoor environments, and demonstrate the benefits of targeted and multi-round communication. Moreover, we show that the targeted communication strategies learned by agents are interpretable and intuitive. Finally, we show that our architecture can be easily extended to mixed and competitive environments, leading to improved performance and sample complexity over recent state-of-the-art approaches.

연구 동기 및 목표

• 부분 관찰 환경에서 에이전트가 누구와 소통할지를 학습하도록 하여, 모든 에이전트에게 메시지를 브로드캐스트하는 것과는 다를 바 있다.
• 감독 없이 작업별 보상에 기반해 타겟팅을 암묵적으로 학습하는 통신 메커니즘을 개발한다.
• 복잡한 추론을 위해 다중 라운드 통신을 지원하여, 에이전트가 시간 단위를 넘어서 정보를 유지할 수 있도록 한다.
• 프레임워크를 혼합 및 경쟁 환경으로 확장하여 샘플 효율성과 성능을 향상시킨다.

제안 방법

• 에이전트는 서명 기반 소프트 주의 메커니즘을 사용한다: 발신자는 메시지와 함께 수신자(키)를 임bedding한다. 수신자는 이를 바탕으로 관련성 점수를 계산한다.
• 주의 메커니즘은 하류 작업 보상만을 사용하여 엔드 투 엔드로 강화학습을 통해 훈련된다.
• 에이전트는 다중 라운드 통신과 지속적인 정보 교환을 지원하기 위해 내부 순환 상태를 유지한다.
• 아키텍처는 중심화된 훈련과 분산 실행(CTDE)을 지원하여 대규모 팀으로의 확장성을 확보한다.
• IC3Net과 결합하여 경쟁 환경에 확장함으로써 메시지 평균화를 타겟팅된 주의로 대체한다.
• 연속적인 벡터 기반 메시지를 사용하여, 에이전트가 작업별로 통신 프로토콜을 자발적으로 발견할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 에이전트는 명시적 통신 감독 없이 특정 수신자에게 메시지를 타겟팅할 수 있는가?
• RQ2 다중 라운드, 타겟팅된 통신은 복잡한 협동 작업에서 성능 향상에 기여하는가?
• RQ3 주의 메커니즘이 해석 가능하고 직관적인 통신 전략을 도출할 수 있는가?
• RQ4 타겟팅된 통신은 경쟁 환경에서 샘플 효율성과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 최소한의 아키텍처 변경으로 혼합 및 경쟁 다중 에이전트 환경으로 프레임워크를 확장할 수 있는가?

주요 결과

• SHAPES 탐색 작업에서, 에이전트는 화재 경보 메시지를 화재 진압자에게만, 폭탄 관련 메시지를 폭탄 폭파자에게만 보냈다. 이는 직관적이고 목표 중심의 타겟팅을 보여주었다.
• 교통 분기점 환경에서, 팀 규모가 변동하더라도 에이전트는 활성화된 에이전트에 주의를 집중하는 방식으로 적응하여, 동적인 팀 구성에 대한 강건성을 입증했다.
• House3D 환경에서, TarMAC는 4명의 에이전트로 68.9%의 성공률을 기록하여 고차원 관측이 존재하는 도전적인 3D 탐색 환경에서 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 예측자-사냥개 혼합 환경에서, IC3Net + TarMAC는 IC3Net 단독 대비 평균 사냥 시간을 14.5% 감소시켰다(7.24 vs. 8.31 단계), 더 빠른 수렴과 향상된 샘플 효율성을 보였다.
• 10명의 에이전트 설정에서, TarMAC의 다중 라운드 버전은 사냥 시간을 30.5% 감소시켰다(35.57 vs. 41.67), 반복적 추론의 유용성을 확인했다.
• 주의 확률은 해석 가능했으며, 화재 경보를 화재 진압자에게, 폭탄 경보를 폭탄 폭파자에게 보낼 수 있도록 명확한 통신 패턴을 드러냈다.