[论文解读] Isaac Gym: High Performance GPU-Based Physics Simulation For Robot Learning

Viktor Makoviychuk, Lukasz Wawrzyniak+9 more|arXiv (Cornell University)|Aug 23, 2021

Parallel Computing and Optimization Techniques被引用 318

一句话总结

Isaac Gym 提供端到端的GPU加速机器人仿真与基于PPO的训练，在单个GPU上实现数万个并行环境，相较于基于CPU的流水线实现2-3个数量级的加速。

ABSTRACT

Isaac Gym offers a high performance learning platform to train policies for wide variety of robotics tasks directly on GPU. Both physics simulation and the neural network policy training reside on GPU and communicate by directly passing data from physics buffers to PyTorch tensors without ever going through any CPU bottlenecks. This leads to blazing fast training times for complex robotics tasks on a single GPU with 2-3 orders of magnitude improvements compared to conventional RL training that uses a CPU based simulator and GPU for neural networks. We host the results and videos at \\url{https://sites.google.com/view/isaacgym-nvidia} and isaac gym can be downloaded at \\url{https://developer.nvidia.com/isaac-gym}.

研究动机与目标

• 通过消除仿真和数据传输中的CPU-GPU瓶颈，推动机器人领域高吞吐强化学习。
• 开发一个以GPU为中心的物理与学习流水线，将观测、奖励和动作保留在GPU上。
• 提供基于张量的Python API，将物理缓冲区映射为PyTorch张量，以便与深度学习训练无缝集成。
• 演示多样化的高保真机器人环境，并在单GPU硬件上量化性能与训练加速。

提出的方法

• 利用 NVIDIA PhysX 提供GPU加速的物理仿真，并实现端到端的GPU数据路径。
• 将物理状态与控制暴露为PyTorch封装的张量，以实现从Python直接零拷贝访问。
• 将数千个环境拷贝打包到单个GPU场景中，以最大化细粒度并行性。
• 实现一个张量API和Python接口，用于在GPU上完成步进、获取/设置状态和应用控制。
• 提供基于PPO的学习设置，具备向量化观测与动作，同时允许替换其他RL算法。

实验结果

研究问题

• RQ1 将所有仿真和学习数据保留在GPU上，与基于CPU的流水线相比，可以实现多大程度的加速？
• RQ2 端到端的GPU训练是否能在复杂接触丰富动力学下支持数千个并行机器人环境？
• RQ3 在GPU加速的仿真器中对腱、接触和领域随机化的建模有哪些权衡？
• RQ4 使用 Isaac Gym 的各种机器人系统，仿真到现实的迁移表现如何？
• RQ5 不同机器人任务（如行走、精细操作）的性能特征（吞吐量、时间步长、环境数量）是什么？

主要发现

• 在复杂机器人任务中，训练相对于基于CPU的PPO流水线实现2-3个数量级的加速。
• Ant和Humanoid的行走策略可以在单个A100 GPU上几分钟内达到可观的行走性能。
• Shadow Hand立方体旋转等其他灵巧任务在单个GPU上数小时内达到显著里程碑，与CPU集群基线相比。
• ANYmal和TriFinger任务的仿真到现实迁移演示，突出高保真度、接触丰富的仿真。
• OpenAI Shadow Hand立方体训练结果可重复使用 Isaac Gym，取得与先前CPU/GPU设置相比更快且竞争力的成功率。