[论文解读] ElegantRL-Podracer: Scalable and Elastic Library for Cloud-Native Deep Reinforcement Learning

Xiaoyang Liu, Zechu Li+6 more|arXiv (Cornell University)|Dec 11, 2021

Reinforcement Learning in Robotics被引用 12

一句话总结

ElegantRL-Podracer 是一个云原生深度强化学习库，通过基于锦标赛的集成方案和单个GPU内的大规模并行仿真，实现了在数百万个GPU核心上的可扩展、弹性训练。与RLlib相比，其在80块A100 GPU上将训练的时钟时间减少了高达40%，并在运动控制和股票交易任务中超越了基线模型，展现出更优的训练效率和性能。

ABSTRACT

Deep reinforcement learning (DRL) has revolutionized learning and actuation in applications such as game playing and robotic control. The cost of data collection, i.e., generating transitions from agent-environment interactions, remains a major challenge for wider DRL adoption in complex real-world problems. Following a cloud-native paradigm to train DRL agents on a GPU cloud platform is a promising solution. In this paper, we present a scalable and elastic library ElegantRL-podracer for cloud-native deep reinforcement learning, which efficiently supports millions of GPU cores to carry out massively parallel training at multiple levels. At a high-level, ElegantRL-podracer employs a tournament-based ensemble scheme to orchestrate the training process on hundreds or even thousands of GPUs, scheduling the interactions between a leaderboard and a training pool with hundreds of pods. At a low-level, each pod simulates agent-environment interactions in parallel by fully utilizing nearly 7,000 GPU CUDA cores in a single GPU. Our ElegantRL-podracer library features high scalability, elasticity and accessibility by following the development principles of containerization, microservices and MLOps. Using an NVIDIA DGX SuperPOD cloud, we conduct extensive experiments on various tasks in locomotion and stock trading and show that ElegantRL-podracer substantially outperforms RLlib. Our codes are available on GitHub.

研究动机与目标

• 解决在复杂现实环境中的深度强化学习（DRL）数据收集成本过高的问题。
• 通过云原生原则，在数百甚至数千块GPU上实现可扩展且弹性的DRL训练。
• 通过容器化、微服务和MLOps提升DRL框架的可访问性和性能。
• 通过充分利用GPU直接访问和单个GPU内的大规模并行化，实现高训练效率。
• 与现有框架（如RLlib）相比，展示出更优的性能和可扩展性。

提出的方法

• 采用基于锦标赛的集成方案，在多个GPU上协调排行榜与数百个Pod组成的训练池之间的训练。
• 通过充分利用超过7,000个GPU CUDA核心，在单个GPU内实现大规模并行仿真。
• 基于Kubernetes、容器化、微服务和MLOps构建云原生架构，以实现可扩展性和可访问性。
• 使用NVIDIA DGX SuperPOD作为云基础设施，支持大规模训练。
• 应用持续集成与持续交付（CI/CD）流水线，以简化开发与部署流程。
• 设计奖励塑造和环境仿真，以支持在股票交易和运动控制等复杂环境中的高效探索。

实验结果

研究问题

• RQ1 云原生DRL框架是否能在数千块GPU上实现高可扩展性和弹性？
• RQ2 基于锦标赛的集成方案在DRL中如何提升训练效率和收敛性？
• RQ3 在单个GPU内实现大规模并行化，能在多大程度上加速DRL中的数据收集？
• RQ4 在复杂任务中，ElegantRL-Podracer与RLlib相比在训练速度和最终性能上表现如何？
• RQ5 该库是否能在支持大规模、高性能DRL训练的同时保持高可访问性？

主要发现

• 在NASDAQ-100股票交易任务中，ElegantRL-Podracer实现了104.743%的累计回报率，夏普比率为2.20，显著优于RLlib的86.274%回报率和1.98的夏普比率。
• 在80块A100 GPU上，ElegantRL-Podracer在约2,200秒内达到1.8的累计回报，展现出极高的可扩展性和效率。
• 训练时间从约4,000秒（16块GPU）减少到约2,200秒（80块GPU），表明随着GPU数量增加，加速效果显著。
• 在相同硬件配置下，与RLlib相比，ElegantRL-Podracer将训练时间最多减少了40%，凸显其在云规模训练中的优越优化能力。
• 在股票交易任务中，ElegantRL-Podracer实现了103.591%的年化回报率，超过Invesco QQQ ETF基准的46.146%。
• 尽管波动率（35.357%）和最大回撤（-17.187%）较高，ElegantRL-Podracer仍保持了6.02的竞争力Calmar比率，表明其具备出色的经风险调整后的表现。