[논문 리뷰] Acme: A Research Framework for Distributed Reinforcement Learning

Matt Hoffman, Bobak Shahriari외 37명|arXiv (Cornell University)|2020. 06. 01.

Reinforcement Learning in Robotics참고 문헌 2인용 수 73

한 줄 요약

Acme은 재사용 가능한 구성 요소(액터, 학습자, 리플레이)를 갖춘 강화 학습 에이전트를 구축하고 확장하기 위한 모듈식 프레임워크를 제시하여 분산 RL에서 빠른 프로토타이핑과 재현성을 가능하게 합니다. 또한 온라인, 오프라인, 모방 학습 및 시연 데이터로부터의 학습 설정 전반에 걸친 최첨단 알고리즘에 대한 참조 구현을 제공합니다.

ABSTRACT

Deep reinforcement learning (RL) has led to many recent and groundbreaking advances. However, these advances have often come at the cost of both increased scale in the underlying architectures being trained as well as increased complexity of the RL algorithms used to train them. These increases have in turn made it more difficult for researchers to rapidly prototype new ideas or reproduce published RL algorithms. To address these concerns this work describes Acme, a framework for constructing novel RL algorithms that is specifically designed to enable agents that are built using simple, modular components that can be used at various scales of execution. While the primary goal of Acme is to provide a framework for algorithm development, a secondary goal is to provide simple reference implementations of important or state-of-the-art algorithms. These implementations serve both as a validation of our design decisions as well as an important contribution to reproducibility in RL research. In this work we describe the major design decisions made within Acme and give further details as to how its components can be used to implement various algorithms. Our experiments provide baselines for a number of common and state-of-the-art algorithms as well as showing how these algorithms can be scaled up for much larger and more complex environments. This highlights one of the primary advantages of Acme, namely that it can be used to implement large, distributed RL algorithms that can run at massive scales while still maintaining the inherent readability of that implementation. This work presents a second version of the paper which coincides with an increase in modularity, additional emphasis on offline, imitation and learning from demonstrations algorithms, as well as various new agents implemented as part of Acme.

연구 동기 및 목표

• 현대 RL의 증가하는 복잡성과 규모 문제에 대해 에이전트 구성에 필요한 모듈식이고 재사용 가능한 구성요소를 제공함으로써 해결합니다.
• 핵심 RL 알고리즘의 참조 구현을 통해 빠른 프로토타이핑과 재현성을 가능하게 합니다.
• 온라인, 오프라인, 모방 학습, 시연 데이터로부터의 학습 등 다양한 학습 설정을 지원합니다.
• 핵심 로직의 재구현 없이 간단한 단일 프로세스부터 대규모 분산 시스템까지 배포를 용이하게 합니다.

제안 방법

• 환경 루프, 액터, 리플레이 저장소, 학습자, 빌더로 구성된 모듈식 에이전트 아키텍처를 정의합니다.
• 구성 가능한 샘플링 및 우선순위 설정이 가능한 고처리량 리플레이 시스템으로 Reverb를 도입합니다.
• 데이터 생성을 학습으로부터 분리하기 위한 유연한 액터 인터페이스와 GenericActor/ActorCore 패턴을 설명합니다.
• 학습자가 Actors를 업데이트하기 위한 가변 소스와 RLDS를 통한 오프라인 데이터셋 사용을 가능하게 하는 방법을 설명합니다.
• 에이전트를 구성하고 로컬 및 분산 실험을 실행하는 빌더 기반 접근법을 제시합니다.
• 적응 가능한 데이터 파이프라인과 데이터셋을 통한 오프라인 및 모방 학습 지원에 대해 논의합니다.

실험 결과

연구 질문

• RQ1 해석 가능성이나 디버깅의 용이성을 잃지 않으면서 RL 에이전트를 재사용 가능하고 확장 가능한 구성요소로 분해할 수 있는가?
• RQ2 온라인, 오프라인, 모방 학습 설정에서 빠른 실험과 재현성을 촉진하는 어떤 아키텍처 선택이 있는가?
• RQ3 액터, 학습자, 리플레이 간에 분산 RL 시스템이 안정적인 데이터 흐름과 학습 효율성을 어떻게 유지할 수 있는가?

주요 결과

• Acme은 구현의 가독성과 모듈성을 유지하면서 대규모 분산 RL을 가능하게 한다.
• 이 프레임워크는 여러 최첨단 알고리즘에 대한 기준선과 참조 구현을 제공한다.
• 실험은 다양한 환경에서 분산 에이전트의 확장성을 입증한다.
• 오프라인 및 모방 학습 워크플로우가 모듈식 데이터 파이프라인과 RLDS 데이터셋 형식을 통해 통합된다.
• 빌더 기반 설계가 다양한 에이전트를 구성하고 최소한의 재구현으로 실행하는 것을 지원한다.