[论文解读] CleanRL: High-quality Single-file Implementations of Deep Reinforcement Learning Algorithms

Shengyi Huang, Rousslan Fernand Julien Dossa+2 more|arXiv (Cornell University)|Nov 16, 2021

Reinforcement Learning in Robotics参考文献 15被引用 86

一句话总结

CleanRL 提供高质量、单文件实现的深度强化学习算法，集成实验跟踪和云规模编排，有助于理解、原型设计和可扩展研究。

ABSTRACT

CleanRL is an open-source library that provides high-quality single-file implementations of Deep Reinforcement Learning algorithms. It provides a simpler yet scalable developing experience by having a straightforward codebase and integrating production tools to help interact and scale experiments. In CleanRL, we put all details of an algorithm into a single file, making these performance-relevant details easier to recognize. Additionally, an experiment tracking feature is available to help log metrics, hyperparameters, videos of an agent's gameplay, dependencies, and more to the cloud. Despite succinct implementations, we have also designed tools to help scale, at one point orchestrating experiments on more than 2000 machines simultaneously via Docker and cloud providers. Finally, we have ensured the quality of the implementations by benchmarking against a variety of environments. The source code of CleanRL can be found at https://github.com/vwxyzjn/cleanrl

研究动机与目标

• 提供一个透明、易于理解的 DRL 实现，通过在单个文件中整合算法细节。
• 通过简化的代码结构和全局作用域变量，实现快速原型设计和调试。
• 在保持代码简洁的同时，保持相对于参考实现的竞争性性能。
• 通过与生产工具和云基础设施的集成，促进可扩展实验。
• 提供一个开放的基准平台，用于跨领域跟踪和比较 RL 实验。

提出的方法

• 为多种 DRL 算法（如 PPO、DQN、C51、SAC、TD3）在不同环境中提供高质量、独立的单文件实现。
• 保持实现简洁（如 Atari 的 PPO 仅 337 行代码）以提升可读性和学习效果。
• 在单个文件中暴露算法和环境细节，使所有学习相关细节易于识别。
• 与实验跟踪工具（Weights & Biases）集成，并提供基于 Tensorboard 的指标与视频记录。
• 通过 Docker 容器和 Terraform 提供云就绪工作流，实现大规模编排。
• 在保持框架无关性的同时，提供可选的生产化工具，以避免硬性依赖。

实验结果

研究问题

• RQ1 将 DRL 算法实现整合到单文件中，是否能够比模块化库提高透明度和易理解性？
• RQ2 单文件设计如何影响调试速度以及在 DRL 研究中原型新特性的速度？
• RQ3 CleanRL 在云基础设施上进行大规模实验、跨数千次运行时，能否保持可重复性？
• RQ4 单文件实现与已建立的基准和在标准环境上的竞争性性能的对齐程度如何？

主要发现

• 单文件 PPO 实现与参考实现（示例：Breakout Atari）相比，性能具有竞争力，同时仅用 337 LOC。
• 全局名称作用域设计通过在交互式 shell 中暴露大多数变量促进更易的交互式调试和快速原型设计。
• CleanRL 通过 Weights & Biases 提供广泛的实验跟踪，记录代码、依赖、超参数、指标和视频。
• 该项目展示了大规模编排能力，历史上通过 Docker 和云服务在超过 2000 台机器上同时运行实验。
• Open RL Benchmark 提供对跨 7+ 算法和多领域（包括 Atari 和 MuJoCo）的数千实验的交互式访问。
• 该工作流在 2020 年通过云编排支持了超过 50,000 小时的实验。