[논문 리뷰] Scalable Multi-Agent Model-Based Reinforcement Learning

Vladimir Egorov, Aleksei Shpilman|arXiv (Cornell University)|2022. 05. 25.

Software Reliability and Analysis Research인용 수 8

한 줄 요약

이 논문은 MAMBA를 제안하며, 훈련 중에 환경과의 직접 상호작용 없이도 분산형 세계 모델을 유지할 수 있도록 에이전트 간의 통신을 활용하는 확장 가능한 다중 에이전트 모델 기반 강화학습 방법이다. MAMBA는 SMAC 및 Flatland 환경에서 모델 자유형 최신 기술(SOTA) 방법에 비해 환경 상호작용 횟수를 최대 한 단계 감소시키면서도 저자료 환경에서 뛰어난 샘플 효율성 학습을 가능하게 한다.

ABSTRACT

Recent Multi-Agent Reinforcement Learning (MARL) literature has been largely focused on Centralized Training with Decentralized Execution (CTDE) paradigm. CTDE has been a dominant approach for both cooperative and mixed environments due to its capability to efficiently train decentralized policies. While in mixed environments full autonomy of the agents can be a desirable outcome, cooperative environments allow agents to share information to facilitate coordination. Approaches that leverage this technique are usually referred as communication methods, as full autonomy of agents is compromised for better performance. Although communication approaches have shown impressive results, they do not fully leverage this additional information during training phase. In this paper, we propose a new method called MAMBA which utilizes Model-Based Reinforcement Learning (MBRL) to further leverage centralized training in cooperative environments. We argue that communication between agents is enough to sustain a world model for each agent during execution phase while imaginary rollouts can be used for training, removing the necessity to interact with the environment. These properties yield sample efficient algorithm that can scale gracefully with the number of agents. We empirically confirm that MAMBA achieves good performance while reducing the number of interactions with the environment up to an orders of magnitude compared to Model-Free state-of-the-art approaches in challenging domains of SMAC and Flatland.

연구 동기 및 목표

• 협동 환경에서 모델 자유형 다중 에이전트 강화학습(MFRL)의 샘플 비효율성 문제를 해결하기 위해.
• 실행 중에 분산성을 유지하면서도 임의의 수의 에이전트를 포함하는 다중 에이전트 환경에 모델 기반 강화학습(MBRL)을 확장하기 위해.
• 통신을 세계 모델 유지를 위한 수단으로 활용함으로써 중심화된 훈련을 가능하게 하되 실행 시 분산성을 유지하기 위해.
• 학습된 세계 모델에서 가상의 롤아웃을 기반으로 정책을 훈련시켜 저자료 환경에서의 샘플 효율성을 향상시키기 위해.
• 에이전트 수가 증가함에 따라 환경에 적응할 수 있도록 접근법을 확장하기 위해, 예를 들어 Flatland에서 15명의 에이전트를 포함한 환경에서도 성능을 유지하기 위해.

제안 방법

• 각 에이전트는 훈련 중에 모든 에이전트의 중심화된 경험을 사용하여 훈련된 세계 모델을 사용하며, 이로 인해 실제 환경 상호작용 없이도 가상의 롤아웃을 수행할 수 있다.
• 각 에이전트는 이웃 에이전트와 이산 메시지를 통해 통신함으로써 환경의 이산 잠재 공간 표현을 유지한다.
• 세계 모델은 이산 잠재 공간을 갖는 변분 오토인코더(VAE)를 사용하여 훈련되며, 이는 분리된 표현 학습과 확장성 향상을 가능하게 한다.
• 훈련 중에 정책은 세계 모델에서 생성된 가상 롤아웃을 사용하여 최적화되며, 실제 환경 상호작용 의존도가 감소한다.
• 실행 중에 에이전트들은 오직 이웃 에이전트로부터의 로컬 메시지만을 사용하여 개별 세계 모델을 업데이트함으로써 분산성을 보장한다.
• 이 방법은 통신을 세계 모델 업데이트 메커니즘의 핵심 구성 요소로 통합하며, 이를 구조화된 정보 공유의 형태로 간주한다.

실험 결과

연구 질문

• RQ1 협동 다중 에이전트 환경에서 훈련을 위해 세계 모델을 유지하는 데에 에이전트 간의 통신이 충분한가?
• RQ2 저자료 환경에서 최신 기술 모델 자유형 방법에 비해 모델 기반 접근법이 뛰어난 샘플 효율성을 달성할 수 있는가?
• RQ3 에이전트 수가 증가함에 따라 세계 모델과 통신 메커니즘의 확장성은 어떻게 평가되는가?
• RQ4 중앙화된 세계 모델에서 생성된 가상 롤아웃을 사용하면 실행 시 분산성을 유지하면서도 효과적인 정책 훈련이 가능한가?
• RQ5 특히 15명의 에이전트가 포함된 고밀도 환경인 15-에이전트 Flatland에서도 이웃 에이전트로부터의 이산 메시지만으로 세계 모델을 효과적으로 훈련시킬 수 있는가?

주요 결과

• MAMBA는 SMAC 및 Flatland 환경에서 최신 기술 모델 자유형 방법(MAPPO)에 비해 필요로 하는 환경 상호작용 횟수를 최대 한 단계 감소시켰다.
• SMAC 환경에서 MAMBA는 저자료 환경에서 거의 절반의 에피소드를 승리하며, 동일 조건에서 어려움을 겪는 MAPPO를 압도했다.
• 5-에이전트 Flatland 지도에서 MAMBA는 30만 개 샘플 이내에 양호한 성능을 달성했고, 1RL 기준선은 성능 향상을 위해 더 많은 샘플이 필요했다.
• 10-에이전트 Flatland 설정에서 MAMBA는 100만 개 샘플 이후에도 1RL를 앞서는 성능을 보였지만, 샘플 효율성은 점차 감소하기 시작했다.
• 15-에이전트 Flatland 설정에서 MAMBA는 150만 개 샘플 이후에 1RL와 유사한 성능을 달성했으며, 환경의 복잡도 증가로 인한 샘플 효율성 저하에도 불구하고 성능 유지를 이룩했다.
• MAMBA는 전역 보상 요소를 효과적으로 분리하며, 추가적인 신용 할당 기법 없이도 협동 환경에서 뛰어난 성능을 보여, 강건성을 입증했다.