[论文解读] GPU-Accelerated Robotic Simulation for Distributed Reinforcement Learning

Jacky Liang, Viktor Makoviychuk+4 more|arXiv (Cornell University)|Oct 12, 2018

Reinforcement Learning in Robotics被引用 74

一句话总结

该论文介绍了基于 NVIDIA Flex 的 GPU 加速 RL 仿真框架，用于训练连续运动任务，在单个 GPU 上实现更快的训练，并具备可扩展的多 GPU 性能。

ABSTRACT

Most Deep Reinforcement Learning (Deep RL) algorithms require a prohibitively large number of training samples for learning complex tasks. Many recent works on speeding up Deep RL have focused on distributed training and simulation. While distributed training is often done on the GPU, simulation is not. In this work, we propose using GPU-accelerated RL simulations as an alternative to CPU ones. Using NVIDIA Flex, a GPU-based physics engine, we show promising speed-ups of learning various continuous-control, locomotion tasks. With one GPU and CPU core, we are able to train the Humanoid running task in less than 20 minutes, using 10-1000x fewer CPU cores than previous works. We also demonstrate the scalability of our simulator to multi-GPU settings to train more challenging locomotion tasks.

研究动机与目标

• 通过在 GPU 上加速环境仿真，降低深度强化学习的样本复杂度。
• 证明基于 GPU 的物理仿真在连续控制任务中能超越基于 CPU 的仿真。
• 展示 GPU 加速 RL 在多 GPU 和多个节点上的可扩展性。

提出的方法

• 使用自研的基于 GPU 的物理引擎，采用非光滑牛顿刚体求解器和最大坐标（maximal coordinates）公式。
• 提供一个类似 OpenAI Gym 的接口，在 GPU 上并行运行数百到数千个代理来执行 RL 实验。
• 实现带自适应学习率的 PPO，并进行在线观测 whitening，使用 SELU 激活以增强稳定性。
• 使用 Horovod 进行分布式训练，基于 NCCL 的 allreduce 来在 GPU 间同步梯度。
• 在单 GPU 及多 GPU 配置下，对如 Ant、Humanoid 以及 HFH 变体的 locomotion 任务进行基准测试。

实验结果

研究问题

• RQ1 相比基于 CPU 的仿真器，GPU 加速的物理仿真是否能够实现更快的连续控制任务的 RL 训练？
• RQ2 GPU 基于 RL 框架在多 GPU 和多节点上对复杂的 locomotion 任务的扩展性如何？
• RQ3 在单 GPU 与多 GPU 设置下，训练 humanoid locomotion 策略时的性能与训练时间特征是什么？

主要发现

• 单机上 1 个 GPU 和 1 个 CPU 核心即可在不到 20 分钟内训练出 Humanoid。
• GPU 仿真可达到约 60 K 帧每秒，约 750 个并发 humanoids；每个代理的平均帧时间 < 0.02 ms。
• 多 GPU 实验显示 Humanoid 的扩展性有限，但在 HFH 和 Complex Terrain 任务上速度提升更明显。
• 相比基于 CPU 的方法，他们的 PPO 与 GPU 仿真在 CPU 核心显著减少的情况下也能更快地达到结果。
• 表 1 比较资源时间权衡：仅 CPU 的大规模集群 vs. 1 GPU 1 CPU 核心在 humanoid running 上实现 16 分钟。