[논문 리뷰] Mava: a research framework for distributed multi-agent reinforcement learning.

Arnu Pretorius, Kale-ab Tessera외 12명|arXiv (Cornell University)|2021. 07. 03.

Reinforcement Learning in Robotics참고 문헌 56인용 수 6

한 줄 요약

Mava는 DeepMind의 Acme를 기반으로 하여 기존 단일 에이전트 강화학습 컴포넌트를 활용하는 확장성 있고 모듈식인 연구 프레임워크로, 분산 다중에이전트강화학습(MARL)을 위한 것이다. 다중 프로세스 학습과 함께 기존 MARL 기반 알고리즘의 즉각적인 구현을 지원함으로써 다양한 환경에서 효과적인 성능을 보이며, 영리하고 조합 가능한 MARL 시스템 설계를 가능하게 한다.

ABSTRACT

Breakthrough advances in reinforcement learning (RL) research have led to a surge in the development and application of RL. To support the field and its rapid growth, several frameworks have emerged that aim to help the community more easily build effective and scalable agents. However, very few of these frameworks exclusively support multi-agent RL (MARL), an increasingly active field in itself, concerned with decentralised decision-making problems. In this work, we attempt to fill this gap by presenting Mava: a research framework specifically designed for building scalable MARL systems. Mava provides useful components, abstractions, utilities and tools for MARL and allows for simple scaling for multi-process system training and execution, while providing a high level of flexibility and composability. Mava is built on top of DeepMind's Acme \citep{hoffman2020acme}, and therefore integrates with, and greatly benefits from, a wide range of already existing single-agent RL components made available in Acme. Several MARL baseline systems have already been implemented in Mava. These implementations serve as examples showcasing Mava's reusable features, such as interchangeable system architectures, communication and mixing modules. Furthermore, these implementations allow existing MARL algorithms to be easily reproduced and extended. We provide experimental results for these implementations on a wide range of multi-agent environments and highlight the benefits of distributed system training.

연구 동기 및 목표

• 다양한 연구 관심에도 불구하고 다중에이전트강화학습(MARL)을 위한 전용이고 확장 가능한 프레임워크의 부족을 해결하기 위해.
• 다중에이전트 환경에서 탈중앙화된 의사결정을 지원하는 모듈식이고 조합 가능한 시스템을 제공하기 위해.
• 다양한 프로세스를 통해 효율적인 분산 학습을 가능하게 하면서도 높은 유연성과 재사용성을 유지하기 위해.
• 재사용 가능한 컴포넌트를 통해 기존 MARL 알고리즘의 구현, 재현 및 확장이 용이하도록 하기 위해.
• DeepMind의 Acme를 통해 기존 단일에이전트 RL 컴포넌트와 원활하게 통합되어 MARL의 개발과 실험을 가속화하기 위해.

제안 방법

• DeepMind의 Acme 위에 쌓인 프레임워크로 Mava를 구축하여, 기존의 강력한 단일에이전트 RL 컴포넌트와 인프라를 재사용하기 위해.
• 다양한 시스템 아키텍처, 통신 모듈, 가치 혼합 메커니즘을 교환할 수 있는 모듈식 추상화를 설계하기 위해.
• 다중 프로세스 실행을 통해 분산 학습을 지원하여, 여러 장치나 노드에 걸쳐 확장 가능한 시스템 배포를 가능하게 하기 위해.
• 중앙 집중식 크리틱, 통신 프로토콜, 가치 분해 모듈과 같은 재사용 가능한 컴포넌트를 구현하여 알고리즘 조합을 쉽게 만들기 위해.
• 예시로 알려진 기존 MARL 알고리즘의 즉각적인 구현을 제공하여, 프레임워크의 유연성과 확장성을 입증하기 위해.
• 연구자가 한 개의 학습 파이프라인 내에서 다양한 정책, 가치 함수, 통신 방식 등을 혼합하여 사용할 수 있도록 조합성을 보장하기 위해.

실험 결과

연구 질문

• RQ1 다양한 다중에이전트강화학습 알고리즘을 지원하기 위해 어떻게 모듈식이고 조합 가능한 프레임워크를 설계할 수 있는가?
• RQ2 Acme의 기존 단일에이전트 RL 컴포넌트가 다중에이전트 환경에서 효과적으로 재사용될 수 있는 정도는 어느 정도인가?
• RQ3 프레임워크는 높은 유연성과 사용 편의성을 유지하면서도 효율적인 분산 학습을 가능하게 할 수 있는가?
• RQ4 구현된 MARL 기반 알고리즘은 표준 다중에이전트 환경 전반에서 얼마나 잘 성능을 내는가?
• RQ5 Mava 프레임워크 내에서 분산 학습은 확장성과 학습 효율성 측면에서 어떤 이점을 제공하는가?

주요 결과

• Mava는 조합 가능하고 모듈식 아키텍처를 통해 여러 MARL 기반 알고리즘의 구현과 학습을 성공적으로 가능하게 하였다.
• 프레임워크는 다중 프로세스 학습을 지원하여 여러 장치에 걸쳐 학습을 효율적으로 분산할 수 있었다.
• Acme의 기존 컴포넌트를 활용함으로써 Mava는 개발 오버헤드를 줄이고 MARL에서의 실험과 개발을 가속화하였다.
• 프레임워크의 설계 덕분에 MARL 알고리즘의 확장과 재현이 용이해져 재현성과 연구의 민첩성을 향상시켰다.
• 다양한 다중에이전트 환경에서의 실험 결과는 Mava의 학습 파이프라인의 효과성과 확장성을 입증하였다.
• 통신 및 혼합 모듈의 통합은 다양한 MARL 알고리즘 구성 요소에 대한 영리한 실험을 가능하게 하였다.