[논문 리뷰] Succinct and Robust Multi-Agent Communication With Temporal Message Control

Sai Qian Zhang, Jieyu Lin외 1명|arXiv (Cornell University)|2020. 10. 27.

Distributed Control Multi-Agent Systems참고 문헌 37인용 수 28

한 줄 요약

이 논문은 시간적 스무딩과 메시지 버퍼링을 활용해 새로운 정보가 감지될 때만 메시지를 전송함으로써 다중 에이전트 강화 학습에서 상호 에이전트 간 통신을 줄이는 Temporal Message Control(TMC)을 제안한다. TMC는 SMAC, Predator-Prey, 그리고 Cooperative Navigation 벤치마크에서 기존 방법보다 우수한 내성과 효율성을 보이며, 통신 과부하를 최대 80% 감소시키고, 심한 패킷 손실 조건에서도 높은 성능을 유지한다.

ABSTRACT

Recent studies have shown that introducing communication between agents can significantly improve overall performance in cooperative Multi-agent reinforcement learning (MARL). However, existing communication schemes often require agents to exchange an excessive number of messages at run-time under a reliable communication channel, which hinders its practicality in many real-world situations. In this paper, we present extit{Temporal Message Control} (TMC), a simple yet effective approach for achieving succinct and robust communication in MARL. TMC applies a temporal smoothing technique to drastically reduce the amount of information exchanged between agents. Experiments show that TMC can significantly reduce inter-agent communication overhead without impacting accuracy. Furthermore, TMC demonstrates much better robustness against transmission loss than existing approaches in lossy networking environments.

연구 동기 및 목표

• 실세계 환경에서 기존 다중 에이전트 통신 기법의 높은 통신 과부하와 열악한 내성 문제를 해결하기 위해.
• 동적인 환경에서 시간적으로 상관관계가 있는 관측치로 인한 부과적인 메시지 교환을 줄이기 위해.
• 대역폭이 제한되고 신뢰성이 떨어지는 통신 채널에서 메시지 손실에 대한 시스템의 내성 향상하기 위해.
• 자율 주행 및 드론 제어와 같은 통신 제약 조건이 있는 시나리오에서 다중 에이전트 강화 학습의 실용적 구현을 가능하게 하기 위해.
• 전체 상태를 활용하지 않고도 상호 에이전트 간 통신을 극도로 줄이면서도 높은 성능을 유지하기 위해.

제안 방법

• TMC는 이전에 전송된 메시지 대비 새로운 정보가 감지될 때만 메시지 전송을 허용하는 시간적 스무딩 메커니즘을 도입한다.
• 각 에이전트는 중복 메시지를 방지하기 위해 정규화 항을 사용하여, 정보의 신선도에 기반한 메시지 전송의 희소성 유도한다.
• 수신 측에서는 다른 에이전트의 최신 메시지 버퍼를 유지하여, 메시지 손실 상황에서도 의사결정을 내릴 수 있도록 한다.
• 버퍼링 메커니즘은 이전에 수신한 데이터를 활용해 손실된 메시지를 복구할 수 있도록 하여 내성 향상에 기여한다.
• TMC는 가치 분해 네트워크(VDN 등)와 통합되며, 통신 빈도와 성능 간 균형을 조절하기 위해 학습 가능한 초모수를 적용한다.
• 메시지 전송과 정규화를 제어하기 위해 유사도 임계값(δ)과 가중치 매개변수(λr, β1, β2, λs)를 사용한다.

실험 결과

연구 질문

• RQ1 MARL에서 상호 에이전트 간 통신을 성능 저하 없이 크게 효율적으로 만들 수 있는가?
• RQ2 관측치의 시간적 상관관계를 활용해 중복 메시지 교환을 줄일 수 있는가?
• RQ3 메시지 버퍼링이 다중 에이전트 시스템에서 통신 손실에 대한 내성 향상에 얼마나 기여할 수 있는가?
• RQ4 극심한 패킷 손실 조건에서도 대역폭 사용을 줄이며 높은 성능을 유지할 수 있는 통신 기법은 가능한가?
• RQ5 손실이 발생하는 환경에서 기존 통신 방법과 비교해 TMC는 통신 과부하와 내성 측면에서 어떤가?

주요 결과

• TMC는 SMAC 환경에서 기존 방법 대비 평균 승리율이 23% 높게 기록되었다.
• Predator-Prey 및 Cooperative Navigation 환경에서 TMC+VDN은 기준 방법 대비 각각 1.24배와 1.35배 높은 정규화된 보상치를 기록했다.
• 기존 기법 대비 TMC는 통신 과부하를 최대 80% 감소시켰으며, Predator-Prey와 Cooperative Navigation 환경에서 평균로 각각 3.2배와 2.9배 감소시켰다.
• 선로 차단이 발생하는 손실이 발생하는 통신 조건에서도 TMC는 높은 승리율을 유지했고, 다른 방법들은 거의 0%로 떨어졌다.
• 간헐적인 통신이 발생하는 환경에서 TMC는 메시지 버퍼링 덕분에 패킷 손실 상황에서도 지속적인 협업을 유지하는 뛰어난 내성을 보였다.
• 전체 상태가 필요 없이도 효과적으로 작동하여 탈중앙화된 실세계 구현에 적합하다.