[논문 리뷰] MARLlib: A Scalable and Efficient Multi-agent Reinforcement Learning Library

Siyi Hu, Yifan Zhong외 7명|arXiv (Cornell University)|2022. 10. 11.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

MARLlib는 표준화된 환경 래퍼, 에이전트 수준의 알고리즘 통합, 그리고 융통성 있는 정책 매핑을 통해 환경 설계를 알고리즘 구현에서 분리함으로써 확장성 있고 효율적인 다중에이전트 강화학습 라이브러리이다. 이는 다양한 MARL 작업과 알고리즘 간의 원활한 호환성을 보장하며, EPyMARL과 같은 최신 기준 성능을 달성하면서도 훈련 스텝 수를 절반으로 줄였다.

ABSTRACT

A significant challenge facing researchers in the area of multi-agent reinforcement learning (MARL) pertains to the identification of a library that can offer fast and compatible development for multi-agent tasks and algorithm combinations, while obviating the need to consider compatibility issues. In this paper, we present MARLlib, a library designed to address the aforementioned challenge by leveraging three key mechanisms: 1) a standardized multi-agent environment wrapper, 2) an agent-level algorithm implementation, and 3) a flexible policy mapping strategy. By utilizing these mechanisms, MARLlib can effectively disentangle the intertwined nature of the multi-agent task and the learning process of the algorithm, with the ability to automatically alter the training strategy based on the current task's attributes. The MARLlib library's source code is publicly accessible on GitHub: \url{https://github.com/Replicable-MARL/MARLlib}.

연구 동기 및 목표

• 다양한 환경과 알고리즘을 지원하는 통합적이고 호환성 있으며 확장 가능한 다중에이전트 강화학습(MARL) 프레임워크의 부족을 해결하기 위해.
• 특히 혼합 협력-경쟁 설정에서 다중에이전트 환경와 알고리즘 간의 호환성 문제를 해결하기 위해.
• 환경 로직과 학습 알고리즘 로직을 분리하여 코드 중복을 줄이고 확장성을 향상시키기 위해.
• 다양한 벤치마크를 통해 MARL 알고리즘을 훈련하고 평가하기 위한 표준화되고 확장성 있으며 효율적인 플랫폼을 제공하기 위해.
• 저수준 호환성 문제에 신경 쓰지 않고도 연구자들이 빠르게 MARL 알고리즘을 프로토타ип하고 벤치마크할 수 있도록 하기 위해.

제안 방법

• 다양한 환경의 관측 및 행동 형식을 통일하기 위해 표준화된 다중에이전트 환경 래퍼를 도입하여 알고리즘에 종속되지 않는 훈련 파이프라인을 가능하게 한다.
• Ray 기반 분산 훈련 프레임워크 내에서 에이전트 수준의 알고리즘을 구현함으로써 세밀한 제어와 확장성을 확보한다.
• 작업 특성에 따라 정책을 동적으로 할당하는 융통성 있는 정책 매핑 전략을 적용하여 공유, 그룹, 개별 정책 설정을 모두 지원한다.
• Ray 및 RLlib 생태계를 활용하여 분산 훈련을 구현함으로써 다수의 GPU와 노드를 효율적으로 스케일링할 수 있도록 한다.
• 모듈러한 설계를 통해 MLP, LSTM, GRU, CNN 등의 다양한 신경망 아키텍처와 온정책, 오프정책, 다중에이전트 알고리즘 유형을 지원한다.
• 환경 특성(에이전트 수, 상태 공간, 행동 공간 등)에 따라 자동으로 훈련 전략을 적응시켜 수동적인 파이프라인 재구성 없이 다양한 MARL 설정을 간편하게 처리할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 다양한 다중에이전트 환경과 알고리즘을 최소한의 설정 오버헤드로 지원할 수 있는 MARL 라이브러리를 설계할 수 있는가?
• RQ2 표준화된 환경 래퍼와 에이전트 수준의 알고리즘 추상화는 MARL 시스템에서 호환성 향상과 코드 중복 감소에 얼마나 기여하는가?
• RQ3 통합 프레임워크는 EPyMARL과 같은 전용 라이브러리에 비해 성능을 유사하게 달성하면서도 훈련 스텝 수를 줄이고 훈련 효율성을 향상시킬 수 있는가?
• RQ4 융통성 있는 정책 매핑 전략은 이질적인 MARL 작업 간에 다양한 학습 알고리즘을 원활하게 통합하는 데 어떻게 기여하는가?
• RQ5 모듈러하고 분리된 설계는 MARL 소프트웨어 프레임워크의 확장성과 유지보수성에 어떤 영향을 미치는가?

주요 결과

• MARLlib는 SMAC 벤치마크에서 EPyMARL과 유사한 성능을 달성하였으며, 보고된 결과의 63%를 총 보상 차이 1.0 이내로 일치시켰고, 25%의 경우 EPyMARL를 초월하는 성능을 보였다.
• 온정책 기반 훈련에서는 2000만 스텝, 오프정책 기반 훈련에서는 200만 스텝으로 훈련 스텝 수를 절반으로 줄였음에도 불구하고, SMAC에서 유사하거나 더 나은 성능에 수렴하였다.
• MARLlib는 SMAC, MPE, MAgent, GRF, MAMuJoCo 등 15개 이상의 환경에서 18종의 다양한 MARL 알고리즘을 성공적으로 훈련시켜 광범위한 호환성을 입증하였다.
• MAgent와 MPE 환경에서 에이전트 그룹 간 균형 잡힌 수익 곡선을 통해 혼합 협력-경쟁 상황에서도 안정적인 훈련이 가능했음을 보였다.
• MARLlib의 모듈러한 설계는 코드 복잡성을 감소시키고 확장성을 향상시켜, 새로운 알고리즘과 환경를 최소한의 변경으로 지원할 수 있도록 하였다.
• 프레임워크가 작업 특성(예: 전역 상태 가용성 등)에 자동으로 적응할 수 있어, 수동적인 파이프라인 재구성 없이 다양한 MARL 설정을 투명하게 처리할 수 있었다.