[논문 리뷰] Learning Agent Communication under Limited Bandwidth by Message Pruning

Hangyu Mao, Zhengchao Zhang외 3명|arXiv (Cornell University)|2019. 12. 03.

Reinforcement Learning in Robotics참고 문헌 25인용 수 10

한 줄 요약

이 논문은 한정된 대역폭 하에서 다중 에이전트 강화학습에서 부적절한 메시지를 적응적으로 제거하기 위해 새로운 보조 과제를 사용해 유익한 메시지를 식별하는 게이팅 메커니즘을 제안한다. 이 방법은 성능을 유지하거나 향상시키면서도 메시지 전송을 최대 87%까지 줄일 수 있으며, ACML, CommNet, AMP와 같은 다수의 기존 DRL 프레임워크와 호환된다.

ABSTRACT

Communication is a crucial factor for the big multi-agent world to stay organized and productive. Recently, Deep Reinforcement Learning (DRL) has been applied to learn the communication strategy and the control policy for multiple agents. However, the practical \emph{ extbf{limited bandwidth}} in multi-agent communication has been largely ignored by the existing DRL methods. Specifically, many methods keep sending messages incessantly, which consumes too much bandwidth. As a result, they are inapplicable to multi-agent systems with limited bandwidth. To handle this problem, we propose a gating mechanism to adaptively prune less beneficial messages. We evaluate the gating mechanism on several tasks. Experiments demonstrate that it can prune a lot of messages with little impact on performance. In fact, the performance may be greatly improved by pruning redundant messages. Moreover, the proposed gating mechanism is applicable to several previous methods, equipping them the ability to address bandwidth restricted settings.

연구 동기 및 목표

• 다중 에이전트 강화학습에서 중요한 문제이지만 간과된 한정된 통신 대역폭 문제를 해결한다.
• 팀 성능을 저하시키지 않으면서도 메시지 양을 줄일 수 있는 체계적인 방법을 개발한다.
• 팀에 유익한 메시지인지에 따라 적응적으로 전송 여부를 결정하는 게이팅 메커니즘을 설계한다.
• 기존 DRL 방법들과의 호환성을 확보하여 다양한 다중 에이전트 시나리오에서 대역폭 인식 통신을 가능하게 한다.
• 메시지 정제를 통해 잡음이 많거나 도움이 되지 않는 메시지를 제거함으로써 성능 향상이 가능함을 입증한다.

제안 방법

• 기존 방법들인 CommNet 및 AMP의 핵심 요소를 통합한 기본 모델인 액터-크리틱 메시지 러닝(ACML)을 제안한다.
• 메시지의 유용성에 따라 통신 게이트를 열거나 닫는 게이팅 메커니즘을 도입한다.
• 전역 Q-값의 차이를 사용해 메시지의 유익함을 평가하는 새로운 보조 과제를 통해 게이팅 메커니즘을 훈련시킨다.
• 동적 및 고정 임계값을 적용하여 원하는 대역폭 한도 근처에서 메시지 정제를 제어한다.
• 게이트가 전송 이전에 메시지를 정제하는 전역 통신 그룹 구조를 사용한다. 즉, 에이전트 그룹 별로가 아니라 전체 그룹 수준에서 정제된다.
• 다양한 기존 방법들(예: Gated-ACML, Gated-CommNet, Gated-AMP)에 게이팅 메커니즘을 확장하여 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 학습 가능한 게이팅 메커니즘이 대역폭 제약 조건 하에서 다중 에이전트 시스템의 메시지 양을 효과적으로 줄일 수 있는가?
• RQ2 메시지 정제가 잡음이 많거나 중복된 메시지를 제거함으로써 성능을 향상시키거나 유지하는가?
• RQ3 게이팅 메커니즘이 다양한 DRL 아키텍처와 다중 에이전트 작업에 일반화될 수 있는가?
• RQ4 대역폭이 제한된 조건에서 게이팅 시스템의 성능이 기준선 방법과 비교해 어떻게 되는가?
• RQ5 실제 환경 유사 작업에서 메시지 정제가 메시지 분포와 시스템 안정성에 어떤 영향을 미치는가?

주요 결과

• 루팅 작업에서 게이팅 메커니즘이 최대 87.22%의 메시지를 정제했으며, 성능 저하율은 단지 18.60%에 그쳐 높은 정제 효율성을 보였다.
• 중간 정도의 정제(예: 30% 정제) 조건에서, 잡음이 많은 메시지 제거로 인해 성능이 최대 4.88% 향상되었다.
• 교통 제어 시나리오에서 Gated-ACML은 ACML보다 우수한 성능을 보였으며, 교차로 근처의 핵심 메시지를 유지하면서도 중복 메시지를 정제함으로써 평균 지연 시간을 줄였다.
• 이 방법은 잘 일반화되었으며, Gated-CommNet과 Gated-AMP는 다양한 작업에서 일관된 메시지 분포 경향을 보여 광범위한 적용 가능성을 확인했다.
• 100% 정제 조건에서도 복잡한 루팅 작업에서 성능 저하율이 단지 65.42%에 그쳐, 모델이 가장 핵심적인 메시지만을 유지함을 보여주었다.
• 반면 ATOc는 제안된 방법 대비 최대 10배 이상 많은 메시지를 생성하여, 현재의 게이팅 메커니즘이 대역폭 제약 조건 하에서 얼마나 비효율적인지 보여주었다.