[논문 리뷰] CleanRL: High-quality Single-file Implementations of Deep Reinforcement Learning Algorithms

Shengyi Huang, Rousslan Fernand Julien Dossa외 2명|arXiv (Cornell University)|2021. 11. 16.

Reinforcement Learning in Robotics참고 문헌 15인용 수 86

한 줄 요약

CleanRL은 실험 추적 및 클라우드 규모 오케스트레이션이 통합된 고품질의 단일 파일 DRL 구현을 제공하여 이해, 프로토타이핑 및 확장 가능한 연구를 지원합니다.

ABSTRACT

CleanRL is an open-source library that provides high-quality single-file implementations of Deep Reinforcement Learning algorithms. It provides a simpler yet scalable developing experience by having a straightforward codebase and integrating production tools to help interact and scale experiments. In CleanRL, we put all details of an algorithm into a single file, making these performance-relevant details easier to recognize. Additionally, an experiment tracking feature is available to help log metrics, hyperparameters, videos of an agent's gameplay, dependencies, and more to the cloud. Despite succinct implementations, we have also designed tools to help scale, at one point orchestrating experiments on more than 2000 machines simultaneously via Docker and cloud providers. Finally, we have ensured the quality of the implementations by benchmarking against a variety of environments. The source code of CleanRL can be found at https://github.com/vwxyzjn/cleanrl

연구 동기 및 목표

• 알고리즘 세부 정보를 단일 파일로 통합하여 투명하고 이해하기 쉬운 DRL 구현을 제공한다.
• 전역 범위 변수로 구성된 간소화된 코드 구조를 통해 빠른 프로토타이핑과 디버깅을 가능하게 한다.
• 코드를 간결하게 유지하면서 참조 구현에 비해 경쟁력 있는 성능을 유지한다.
• 생산 도구 및 클라우드 인프라와의 통합을 통해 확장 가능한 실험을 촉진한다.
• 도메인 간 RL 실험을 추적하고 비교할 수 있는 개방형 벤치마크 플랫폼을 제공한다.

제안 방법

• 다양한 환경에 걸쳐 여러 DRL 알고리즘(PPO, DQN, C51, SAC, TD3 등)의 고품질의 자급자족 단일 파일 구현을 제공한다.
• 가독성과 학습 용이성을 높이기 위해 구현을 간결하게 유지한다(예: Atari에서 PPO는 337 LOC).
• 학습 관련 모든 세부 정보를 쉽게 식별할 수 있도록 알고리즘과 환경의 구체 정보를 하나의 파일에 노출한다.
• 실험 추적 도구(Weights & Biases)와 통합하고 메트릭 및 비디오를 위한 Tensorboard 기반 로깅을 제공한다.
• 대규모 오케스트레이션을 위해 Docker 컨테이너와 Terraform을 통한 클라우드 준비 워크플로를 제공한다.
• 하드 의존성을 피하기 위해 프레임워크에 구애받지 않는 선택적 생산형 도구를 제공한다.

실험 결과

연구 질문

• RQ1 DRL 알고리즘 구현을 단일 파일로 통합하는 것이 모듈식 라이브러리와 비교하여 투명성과 이해의 용이성을 향상시키는가?
• RQ2 단일 파일 설계가 DRL 연구에서 디버깅 속도와 새로운 기능의 프로토타이핑 용이성에 어떤 영향을 미치는가?
• RQ3 CleanRL의 확장 가능한 실험이 클라우드 인프라와 수천 번의 실행에서 재현성을 유지하며 효과적으로 수행될 수 있는가?
• RQ4 단일 파일 구현이 표준 환경에서 확립된 벤치마크 및 경쟁 성능과 얼마나 잘 일치하는가?

주요 결과

• 단일 파일 PPO 구현은 참조 구현과 경쟁력 있는 성능을 달성하며(예: Breakout Atari) 337 LOC를 사용한다.
• 전역 이름 범위 디자인은 대화형 셸에서 대부분의 변수를 노출시켜 더 쉬운 대화형 디버깅과 빠른 프로토타이핑을 가능하게 한다.
• CleanRL은 Weights & Biases를 통한 광범위한 실험 추적을 지원하고 코드, 의존성, 하이퍼파라미터, 메트릭, 비디오를 기록한다.
• 이 프로젝트는 Docker와 클라우드 공급자를 통해 과거에 2000대가 넘는 머신에서 동시 실험을 실행하는 등 대규모 오케스트레이션 능력을 보여준다.
• Open RL Benchmark는 Atari 및 MuJoCo를 포함한 7개 이상의 알고리즘과 여러 도메인에 걸쳐 수천 개의 실험을 추적하기 위한 대화형 접근을 제공한다.
• 이 워크플로우는 2020년에 클라우드 기반 오케스트레이션을 사용하여 50,000시간 이상(+)의 실험을 지원했다.