[논문 리뷰] Fully Independent Communication in Multi-Agent Reinforcement Learning

Rafael Pina, De Silva외 2명|arXiv (Cornell University)|2024. 01. 26.

Evolutionary Game Theory and Cooperation인용 수 4

한 줄 요약

이 논문은 공유 파라미터 없이도 완전히 독립적인 다중 에이전트 강화학습(MARL) 에이전트가 별도의 정책 및 메시지 네트워크를 통해 통신 전략을 성공적으로 학습하고 활용할 수 있도록 하는 새로운 학습 체계를 제안한다. 파라미터 독립성의 도전 과제에도 불구하고 이 방법은 효과적인 통신을 가능하게 하며, 결과적으로 통신이 항상 유익한 것은 아니며, 특히 에이전트 네트워크 용량이 부족하거나 과도할 경우 오버헤드를 유발할 수 있음을 보여준다.

ABSTRACT

Multi-Agent Reinforcement Learning (MARL) comprises a broad area of research within the field of multi-agent systems. Several recent works have focused specifically on the study of communication approaches in MARL. While multiple communication methods have been proposed, these might still be too complex and not easily transferable to more practical contexts. One of the reasons for that is due to the use of the famous parameter sharing trick. In this paper, we investigate how independent learners in MARL that do not share parameters can communicate. We demonstrate that this setting might incur into some problems, to which we propose a new learning scheme as a solution. Our results show that, despite the challenges, independent agents can still learn communication strategies following our method. Additionally, we use this method to investigate how communication in MARL is affected by different network capacities, both for sharing and not sharing parameters. We observe that communication may not always be needed and that the chosen agent network sizes need to be considered when used together with communication in order to achieve efficient learning.

연구 동기 및 목표

• 에이전트가 완전히 독립적이고 네트워크 파라미터를 공유하지 않을 때 효과적인 통신이 가능한지 조사한다.
• 실제 응용에서 흔한 분산형, 공유 파라미터가 없는 MARL 환경에서의 통신 도전 과제를 다룬다.
• MARL에서 통신과 에이전트 네트워크 용량 증가 간의 상호 상충 관계를 조사한다.
• 통신이 항상 학습 성능을 향상시키는지, 아니면 불필요한 오버헤드를 유발할 수 있는지 평가한다.
• 완전히 독립적인 MARL 에이전트에서 통신을 가능하게 하는 새로운 학습 체계를 제안하고 검증한다.

제안 방법

• 에이전트 간 정책 네트워크 파라미터를 공유하지 않더라도 통신 전략을 학습할 수 있도록 하는 새로운 학습 체계를 도입한다.
• 각 에이전트에 고유한 정책 네트워크와 별도의 메시지 생성 네트워크를 제공하며, 이들 모두를 독립적으로 훈련시킨다.
• 에이전트가 다른 이들에게 메시지를 브로드캐스트하고, 이를 정책 네트워크의 추가 입력으로 사용하는 통신 프로토콜을 사용한다.
• 통합 행동가치 함수를 믹서 네트워크를 사용해 최적화하는 중심화된 훈련과 분산 실행(CTDE) 프레임워크를 사용해 에이전트를 훈련시킨다.
• 에이전트 네트워크의 독립성을 유지하면서도 정보성 메시지 전송을 장려하기 위해 통신 손실 항목을 적용한다.
• 다양한 네트워크 용량과 통신 유무에 따라 성능을 비교하기 위해 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 에이전트가 파라미터를 공유하지 않을 때 완전히 독립적인 MARL 에이전트가 효과적인 통신 전략을 학습할 수 있는가?
• RQ2 파라미터 공유 없이도 에이전트 네트워크 용량이 다를 경우 통신 성능는 어떻게 달라지는가?
• RQ3 통신을 추가하면 항상 학습 성능이 향상되는가, 아니면 이로 인해 유의미한 이득 없이 오버헤드가 발생할 수 있는가?
• RQ4 에이전트 네트워크 용량을 증가시키는 것으로 통신 부재를 얼마나 보완할 수 있는가?
• RQ5 제안된 학습 체계는 파라미터 공유에 의존하지 않고 독립된 에이전트에서 어떻게 통신을 가능하게 하는가?

주요 결과

• 파라미터 공유 없이도 제안된 학습 체계는 독립적인 MARL 에이전트가 통신 전략을 성공적으로 학습하고 활용할 수 있음을 보여준다.
• 에이전트 네트워크 용량이 너무 낮거나 너무 높을 경우 통신이 성능 오버헤드를 유발할 수 있으며, 항상 유익한 것은 아니다.
• 높은 네트워크 용량은 통신 부재를 부분적으로 보완할 수 있지만, 한계가 있으며, 통신 없이 과도한 용량을 가진 경우 수익 감소 현상이 발생한다.
• 연구 결과에 따르면 일부 환경에서는 통신이 불필요할 수 있으며, 특히 에이전트가 정보를 처리할 충분한 개별 능력을 갖추고 있을 경우 더욱 그렇다.
• 에이전트 네트워크 크기 선택은 통신 사용과 정밀하게 일치시켜야 효율적인 학습을 달성할 수 있다.
• 제안된 방법은 파라미터 공유 없이도 효과적인 통신이 가능함을 보여주며, 파라미터 공유가 필수적이라는 가정을 도전한다.