[논문 리뷰] Minimizing Communication while Maximizing Performance in Multi-Agent Reinforcement Learning

Varun Kumar Vijay, Hassam Ullah Sheikh외 2명|arXiv (Cornell University)|2021. 06. 15.

Ferroelectric and Negative Capacitance Devices인용 수 4

한 줄 요약

이 논문은 협동 작업에서 높은 성능을 유지하면서 통신 오버헤드를 최소화하는 다중 에이전트 강화학습 프레임워크를 제안한다. 교육 과정 학습과 통신 페널티를 통해 임의의 작업에 특화된 희박한 통신 정책을 학습함으로써, 비밀 공유, 사냥사냥 태스크, 동적 탐색 작업을 포함한 네 가지 환경에서 메시지 빈도가 크게 감소한 상태로 거의 최적의 성능을 달성한다.

ABSTRACT

Inter-agent communication can significantly increase performance in multi-agent tasks that require co-ordination to achieve a shared goal. Prior work has shown that it is possible to learn inter-agent communication protocols using multi-agent reinforcement learning and message-passing network architectures. However, these models use an unconstrained broadcast communication model, in which an agent communicates with all other agents at every step, even when the task does not require it. In real-world applications, where communication may be limited by system constraints like bandwidth, power and network capacity, one might need to reduce the number of messages that are sent. In this work, we explore a simple method of minimizing communication while maximizing performance in multi-task learning: simultaneously optimizing a task-specific objective and a communication penalty. We show that the objectives can be optimized using Reinforce and the Gumbel-Softmax reparameterization. We introduce two techniques to stabilize training: 50% training and message forwarding. Training with the communication penalty on only 50% of the episodes prevents our models from turning off their outgoing messages. Second, repeating messages received previously helps models retain information, and further improves performance. With these techniques, we show that we can reduce communication by 75% with no loss of performance.

연구 동기 및 목표

• 협동 환경에서 작업 성능을 희생시키지 않으면서 다중 에이전트 강화학습의 통신 오버헤드를 줄이기.
• 에이전트가 강화학습을 통해 자율적으로 효율적이고 희박한 통신 프로토콜을 학습할 수 있는지 조사하기.
• 통신 페널티와 교육 과정 학습이 에이전트가 최적의 통신 패턴을 발견하는 데 얼마나 효과적인지 평가하기.
• 다양한 통신 전략이 요구되는 다양한 협동 작업 간의 일반화 능력을 테스트하기.

제안 방법

• 에이전트는 '통신 없음' 옵션을 포함한 통신 행동 공간을 가진 독립적 딥 Q네트워크(DQN)를 사용하여 훈련된다.
• 불필요한 메시지를 방지하기 위해 훈련 중 통신 페널티가 적용되며, 성능와 통신 비용을 균형 잡기 위해 초모수를 조정한다.
• 작업 난이도를 점진적으로 증가시켜 에이전트가 통신 정책을 보다 효과적으로 학습할 수 있도록 교육 과정 학습이 사용된다.
• 프레임워크는 비밀, 사냥사냥, 비밀 쌍, 동적 협동 탐색 네 가지 환경에서 평가된다. 각 환경은 별개의 통신 전략을 요구한다.
• 성능는 작업에 특화된 지표로 측정된다: 사냥사냥 태스크에서는 성공률, 비밀 및 비밀 쌍 태스크에서는 누적 보상, 동적 협동 탐색에서는 탐색 성공률.
• 통신 페널티를 조정하여 원하는 성능와 통신 수준을 달성할 수 있도록 초모수 조정이 수행된다.

실험 결과

연구 질문

• RQ1 다중 에이전트 강화학습 에이전트는 협동 환경에서 높은 작업 성능를 유지하면서 통신을 최소화할 수 있는가?
• RQ2 통신 페널티와 교육 과정 학습은 에이전트가 희박하고 작업에 특화된 통신 프로토콜을 발견하는 데 얼마나 효과적인가?
• RQ3 에이전트는 사전에 언제 또는 누구와 통신할지 지정되지 않은 상태에서 최적의 통신 패턴을 자율적으로 학습할 수 있는가?
• RQ4 다양한 유형의 협동 작업에서 통신 효율성과 성능 간의 트레이드오프는 어떻게 나타나는가?

주요 결과

• 에이전트는 필요할 때만 통신하는 것을 학습하여, 비밀 환경에서 메시지 빈도가 크게 감소한 상태로 거의 최대 성능를 달성했다.
• 사냥사냥 환경에서는 모든 에이전트가 동시에 사냥의 사냥감 셀에 머무르는 것으로 정의되는 높은 성공률를 달성했으며, 적응형 메시지 타이밍을 통해 통신을 최소화했다.
• 비밀 쌍 환경에서는 비밀 변경 시마다 한 번의 메시지만을 전송하는 방식으로, 최소한의 통신으로도 정확한 협력을 유지하며 효과적인 쌍방 통신 학습을 보였다.
• 교육 과정 학습과 통신 페널티의 사용으로 에이전트는 환경 간 일반화를 이룰 수 있었고, 안정적이고 통신이 적은 정책을 달성했다.
• 다양한 통신 페널티 수준에서도 성능가 유지되어, 학습된 통신 전략의 강건성과 적응 가능성은 입증되었다.
• 기본 방법 대비 통신 빈도가 최대 70% 감소한 상태에서도 성능 저하 없이 뛰어난 성능를 달성했다.