[논문 리뷰] rlpyt: A Research Code Base for Deep Reinforcement Learning in PyTorch

Adam Stooke, Pieter Abbeel|arXiv (Cornell University)|2019. 09. 03.

Reinforcement Learning in Robotics참고 문헌 33인용 수 52

한 줄 요약

rlpyt은 공유된 고처리량 인프라와 다양한 샘플링/최적화 구성으로 정책 그래디언트, DQN 변형, 그리고 Q-함수 정책 그래디언트의 세 가지 주요 심층 RL 알고리즘 계열을 모두 구현하는 모듈식 PyTorch 기반 코드베이스를 제공합니다. 단일 노드 병렬성, 재현성 및 소-에서 중간 규모의 RL 연구를 위한 실용적 도구를 강조합니다.

ABSTRACT

Since the recent advent of deep reinforcement learning for game play and simulated robotic control, a multitude of new algorithms have flourished. Most are model-free algorithms which can be categorized into three families: deep Q-learning, policy gradients, and Q-value policy gradients. These have developed along separate lines of research, such that few, if any, code bases incorporate all three kinds. Yet these algorithms share a great depth of common deep reinforcement learning machinery. We are pleased to share rlpyt, which implements all three algorithm families on top of a shared, optimized infrastructure, in a single repository. It contains modular implementations of many common deep RL algorithms in Python using PyTorch, a leading deep learning library. rlpyt is designed as a high-throughput code base for small- to medium-scale research in deep RL. This white paper summarizes its features, algorithms implemented, and relation to prior work, and concludes with detailed implementation and usage notes. rlpyt is available at https://github.com/astooke/rlpyt.

연구 동기 및 목표

• 세 가지 주요 심층 RL 알고리즘 계열을 통합하기 위한 공유 고처리량 인프라를 촉진합니다.
• PyTorch에서 일반 RL 알고리즘의 모듈식이고 재사용 가능한 구현을 제공합니다.
• 직렬, 병렬 및 비동기 샘플링 및 최적화 구성을 통해 실험의 유연한 진행을 가능하게 합니다.

제안 방법

• 공통 인프라에서 세 가지 알고리즘 계열을 구현합니다: 정책 그래디언트(A2C, PPO), DQN 및 변형들(더블, 듀얼링, 카테고리, Rainbow, R2D2 유사), 그리고 Q-함수 정책 그래디언트(DDPG, TD3, SAC).
• 메모리 효율성을 위한 n-step 수익률 재생 버퍼, 시퀀스 재생, 우선순위 재생, 프레임 기반 버퍼링을 지원합니다.
• PyTorch DistributedDataParallel(NCCL/gloo)을 사용한 동기/비동기 최적화 및 Serial, Parallel-CPU, Parallel-GPU, Alternating-GPU의 다양한 샘플링 구성과 함께 제공합니다.
• flexible leading dimensions와 다중 모달 데이터를 다루는 배열 구조체인 namedarraytuple 데이터를 도입합니다.
• env_info와 spaces에 대한 래퍼를 포함한 OpenAI Gym 호환성과 로컬 하드웨어에서 다수 실험을 실행하기 위한 런치 유틸리티를 보장합니다.

실험 결과

연구 질문

• RQ1 단일 모듈식 코드베이스가 단일 노드 하드웨어에서 높은 처리량으로 여러 심층 RL 알고리즘 계열을 효율적으로 지원할 수 있는가?
• RQ2 다양한 샘플링 및 최적화 구성(직렬, 병렬 CPU/ GPU, 비동기)이 일반 RL 벤치마크에서 처리량과 학습 성능에 어떤 영향을 미치는가?
• RQ3 namedarraytuple와 같은 실용적인 데이터 구조가 다양한 RL 알고리즘 간 데이터 조직 및 확장성을 어떻게 개선하는가?

주요 결과

• rlpyt는 단일 코드베이스를 사용하여 Atari와 MuJoCo 환경에서 경쟁력 있는 학습 곡선을 재현합니다.
• R2D2-유사 순환 재생 설정이 비분산 환경에서 시연되어 높은 샘플 처리량을 달성합니다.
• 비동기 및 병렬 샘플링 모드는 하드웨어 활용도를 개선하고 단일 워크스테이션 내에서 다중 GPU 학습을 가능하게 합니다.
• 멀티 모달 관찰 및 배치 데이터를 납작하게 하지 않고 관리하기 위해 새로운 namedarraytuple 데이터 구조를 도입합니다.
• 이 프레임워크는 디버깅을 위한 직렬 모드의 우선순위를 강조하고 필요에 따라 점진적으로 병렬 구성을 채택합니다.