[논문 리뷰] Learning Multi-agent Communication under Limited-bandwidth Restriction for Internet Packet Routing

Hangyu Mao, Zhibo Gong외 3명|arXiv (Cornell University)|2019. 02. 26.

Distributed Control Multi-Agent Systems참고 문헌 22인용 수 11

한 줄 요약

이 논문은 인터넷 패킷 라우팅에서 대역폭 제약 조건 하에서 비수익성 있는 메시지를 동적으로 제거하기 위해 다중 에이전트 강화학습 프레임워크 내에 게이팅 메커니즘을 제안한다. 통신이 유익할 때만 게이트를 열도록 훈련시킴으로써, 이 방법은 성능 손실를 최소화하면서도 메시지 수를 80% 이상 감소시켰으며, 실제 세계 및 벤치마크 작업에서 최신의 DRL 및 룰 기반 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Communication is an important factor for the big multi-agent world to stay organized and productive. Recently, the AI community has applied the Deep Reinforcement Learning (DRL) to learn the communication strategy and the control policy for multiple agents. However, when implementing the communication for real-world multi-agent applications, there is a more practical limited-bandwidth restriction, which has been largely ignored by the existing DRL-based methods. Specifically, agents trained by most previous methods keep sending messages incessantly in every control cycle; due to emitting too many messages, these methods are unsuitable to be applied to the real-world systems that have a limited bandwidth to transmit the messages. To handle this problem, we propose a gating mechanism to adaptively prune unprofitable messages. Results show that the gating mechanism can prune more than 80% messages with little damage to the performance. Moreover, our method outperforms several state-of-the-art DRL-based and rule-based methods by a large margin in both the real-world packet routing tasks and four benchmark tasks.

연구 동기 및 목표

• 실제 다중 에이전트 시스템, 특히 인터넷 패킷 라우팅에서의 제한된 대역폭 통신이라는 실용적 과제를 해결한다.
• 기존 DRL 방법이 유용성과 관계없이 계속 메시지를 생성하는 한계를 극복한다.
• 작업 성능을 유지하면서 메시지 빈도를 제어할 수 있는 원칙적이고 학습 가능한 메커니즘을 개발한다.
• 대역폭 제약 조건이 있는 환경에서의 구현에 적합한 확장성 있고 안정적인 다중 에이전트 통신을 가능하게 한다.

제안 방법

• DRL 기반의 통신 및 제어 정책을 통합한 통합 프레임워크인 메시지 학습을 통한 액터-크리틱(ACML)을 제안한다.
• 팀에 대한 기대 수익이 있는지 여부에 따라 메시지를 전송할지 결정하는 학습 가능한 게이팅 메커니즘을 도입한다.
• 메시지의 유용성을 예측된 Q-값의 변화(ΔQ)를 통해 평가하는 새로운 보조 과제를 사용하여 게이트를 훈련시킨다.
• 추론 중에 메시지 제거 비율을 적응적으로 제어하기 위해 동적 임계값 전략을 사용한다.
• 훈련을 안정화하기 위해 경험 재현 및 타겟 네트워크를 통합하며, DDPG 스타일의 오프-폴리시 학습을 따르는 방식이다.
• 메시지 유용성의 미분 가능한 근사치를 최적화하여 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 게이팅 메커니즘이 성능 저하 없이 다중 에이전트 통신에서 메시지 수를 효과적으로 줄일 수 있는가?
• RQ2 실제 라우팅 작업에서 엄격한 대역폭 제약 조건 하에서도 이러한 메커니즘이 얼마나 잘 성능을 유지하는가?
• RQ3 게이팅 메커니즘이 시스템의 안정성과 수렴성을 유지하면서 비수익성 있는 메시지를 어느 정도 제거할 수 있는가?
• RQ4 벤치마크 및 실제 라우팅 환경에서 제안된 방법이 최신의 DRL 및 룰 기반 기준보다 어떻게 비교되는가?

주요 결과

• 게이팅 메커니즘이 성능 저하가 7% 미만인 상태에서 80% 이상의 메시지를 성공적으로 제거하여 높은 제거 효율성을 입증했다.
• 95% 메시지 제거 임계값에서 성능 저하가 오직 11.3%에 그쳐, 대부분의 메시지가 실제로 비수익성 있음을 시사한다.
• 모든 메시지를 제거했을 경우(100%), 성능 저하가 61.52%에 이르렀으며, 이는 성능에 핵심적인 영향을 미치는 메시지의 비율이 매우 낮음(1.5%)을 확인한다.
• GACML은 복잡한 토폴로지에서 다른 DRL 방법보다 더 높은 수렴 비율을 기록하여 훈련의 안정성이 향상되었음을 보여준다.
• MLU(평균 링크 이용률)와 보상 모두에서 GACML은 MADDPG 및 WCMP와 같은 룰 기반 방법보다 뛰어난 성능을 보였으며, WCMP는 중간 수준의 토폴로지에서 실패했다.
• 합성 실험에서 게이트 값은 유량 동역학을 정확히 따라가며, 모델이 네트워크 조건에 맞춰 통신을 적응시키는 것을 학습했다는 것을 보여준다.