[논문 리뷰] Event-Triggered Multi-agent Reinforcement Learning with Communication under Limited-bandwidth Constraint

Guangzheng Hu, Yuanheng Zhu외 3명|arXiv (Cornell University)|2020. 10. 10.

Reinforcement Learning in Robotics참고 문헌 36인용 수 5

한 줄 요약

이 논문은 이벤트 트리거드 커뮤니케이션 네트워크(ETCNet)를 제안한다. ETCNet은 제약된 마르코프 결정 과정(CMDP)을 사용하여 대역폭 기반의 페널티 임계값을 도입함으로써 필요할 때만 메시지 전송을 트리거하는 다중 에이전트 강화학습 프레임워크이다. ETCNet은 협업 성능을 유지하면서도 대역폭 소비를 크게 줄여 기존 방법보다 통신 효율성과 과제 성능 모두에서 제한된 대역폭 조건 하에서 뛰어난 성능을 달성한다.

ABSTRACT

Communicating with each other in a distributed manner and behaving as a group are essential in multi-agent reinforcement learning. However, real-world multi-agent systems suffer from restrictions on limited-bandwidth communication. If the bandwidth is fully occupied, some agents are not able to send messages promptly to others, causing decision delay and impairing cooperative effects. Recent related work has started to address the problem but still fails in maximally reducing the consumption of communication resources. In this paper, we propose Event-Triggered Communication Network (ETCNet) to enhance the communication efficiency in multi-agent systems by sending messages only when necessary. According to the information theory, the limited bandwidth is translated to the penalty threshold of an event-triggered strategy, which determines whether an agent at each step sends a message or not. Then the design of the event-triggered strategy is formulated as a constrained Markov decision problem, and reinforcement learning finds the best communication protocol that satisfies the limited bandwidth constraint. Experiments on typical multi-agent tasks demonstrate that ETCNet outperforms other methods in terms of the reduction of bandwidth occupancy and still preserves the cooperative performance of multi-agent systems at the most.

연구 동기 및 목표

• 제한된 대역폭 환경에서의 다중 에이전트 강화학습에서 과도한 메시징으로 인한 지연과 협업 품질 저하 문제를 해결하기 위해.
• 협업 성능을 훼손하지 않으면서도 대역폭 사용을 최소화하는 커뮤니케이션 프로토콜을 설계하기 위해.
• 제약된 마르코프 결정 과정(CMDP) 프레임워크 내에서 대역폭 제약 조건을 페널티 임계값으로 수식화하여 효율적 커뮤니케이션의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 고정된 주기나 관측 기반 스케줄이 아닌 실제 정보 공유 필요성에 기반해 에이전트가 언제 커뮤니케이션을 할지를 결정할 수 있도록 하기 위해.

제안 방법

• 대역폭 제한은 제약된 마르코프 결정 과정(CMDP) 내에서 페널티 임계값으로 수학적으로 모델링되어 네트워크 제약 조건을 학습 가능한 최적화 목표로 변환된다.
• 이벤트 트리거드 게이팅 정책이 도입되며, 이는 협업에 기여할 잠재적 이득과 대역폭 사용 비용 간의 균형을 기반으로 메시지 전송 여부를 결정한다.
• 게이팅 정책은 CMDP의 라그랑주 릴랙세이션을 사용한 강화학습을 통해 학습되며, 협업 보상과 대역폭 페널티 간의 균형을 유지한다.
• 에이전트의 정책 네트워크는 메시지의 기억을 통합하여 부분 관측 환경에서의 의사결정 능력을 향상시킨다.
• 딥 강화학습을 사용해 엔드 투 엔드로 시스템을 학습하며, 게이팅 정책은 환경 변화와 커뮤니케이션 수요에 동적으로 적응한다.
• 제안된 방법은 협업 주행 및 사냥사냥 태스크에서 SchedNet, Gated-ACML, Message-Dropout과 동일한 대역폭 조건 하에서 평가된다.

실험 결과

연구 질문

• RQ1 엄격한 대역폭 제약 조건 하에서 다중 에이전트 강화학습의 커뮤니케이션을 어떻게 효율적으로 만들 수 있는가?
• RQ2 이벤트 트리거드 커뮤니케이션이 협업 성능을 유지하거나 향상시키면서도 대역폭 소비를 줄일 수 있는가?
• RQ3 제한된 대역폭 조건 하에서 커뮤니케이션 빈도와 협업 품질 간의 최적의 트레이드오프는 무엇인가?
• RQ4 과거 메시지의 기억을 통합할 경우 이벤트 트리거드 커뮤니케이션의 성능과 효율성에 어떤 영향을 미치는가?
• RQ5 강화학습이 명시적인 대역폭 제약 조건을 준수하는 효과적인 커뮤니케이션 프로토콜을 얼마나 잘 학습할 수 있는가?

주요 결과

• ETCNet은 기준선 방법 대비 대역폭 소비를 크게 줄였으며, 580 bit/s와 1200 bit/s 제약 조건 하에서 각각 31.7%와 55.7%의 메시지 전송 확률을 기록했다.
• 협업 주행 태스크에서 ETCNet은 580 bit/s 대역폭 조건 하에서 평균 수익 52.78±17.71을 달성했으며, SchedNet(54.06±13.14)과 Message-Dropout(91.385±13.94)보다 성능과 효율성 측면에서 모두 뛰어났다.
• 메모리 제거 아블레이션 실험 결과, 게이팅 정책에서 메시지 기억을 제거할 경우 메시지 빈도가 증가하고 성능이 악화되어 메모리가 효율적 커뮤니케이션을 유지하는 데 중요함을 확인했다.
• 에이전트 정책에서 메모리 메시지를 제거한 아블레이션은 협업 성능이 거의 붕괴됨을 보여주었으며, 이는 메모리가 맥락 유지와 의사결정 품질을 확보하는 데 필수적임을 시사한다.
• ETCNet은 실제 협업에 미치는 영향에 기반해 메시지를 전송할 필요가 있을 때만 전송하는 방식이 관측 기반 또는 고정 빈도 커뮤니케이션보다 더 나은 대역폭 활용을 이끌 수 있음을 입증했다.
• 학습 곡선 분석 결과, 낮은 대역폭은 메시지 전송 횟수를 줄이지만 평가 성능은 악화시키며, 이는 충분한 커뮤니케이션이 협업을 위해 필수적임을 확인한다.