[论文解读] Aerial Gym -- Isaac Gym Simulator for Aerial Robots

Mihir Kulkarni, Theodor J. L. Forgaard+1 more|arXiv (Cornell University)|May 25, 2023

Robotic Path Planning Algorithms被引用 7

一句话总结

Aerial Gym 是基于 NVIDIA Isaac Gym 构建的 GPU 加速、高度并行化的飞行机器人仿真器，支持在 SE(3) 上使用非线性几何控制器，实现对姿态、速度和位置的精确跟踪，可实时仿真高达 134,217,728 台飞行机器人。它支持大规模障碍物随机化、多传感器数据（RGB、深度、语义分割、光流），并可与强化学习框架集成，对 131,072 台机器人实现每秒超过 380 万次仿真步长。

ABSTRACT

Developing learning-based methods for navigation of aerial robots is an intensive data-driven process that requires highly parallelized simulation. The full utilization of such simulators is hindered by the lack of parallelized high-level control methods that imitate the real-world robot interface. Responding to this need, we develop the Aerial Gym simulator that can simulate millions of multirotor vehicles parallelly with nonlinear geometric controllers for the Special Euclidean Group SE(3) for attitude, velocity and position tracking. We also develop functionalities for managing a large number of obstacles in the environment, enabling rapid randomization for learning of navigation tasks. In addition, we also provide sample environments having robots with simulated cameras capable of capturing RGB, depth, segmentation and optical flow data in obstacle-rich environments. This simulator is a step towards developing a - currently missing - highly parallelized aerial robot simulation with geometric controllers at a large scale, while also providing a customizable obstacle randomization functionality for navigation tasks. We provide training scripts with compatible reinforcement learning frameworks to navigate the robot to a goal setpoint based on attitude and velocity command interfaces. Finally, we open source the simulator and aim to develop it further to speed up rendering using alternate kernel-based frameworks in order to parallelize ray-casting for depth images thus supporting a larger number of robots.

研究动机与目标

• 为解决强化学习中缺乏支持高层控制接口的并行化、高保真仿真环境的问题。
• 实现多旋翼飞行器在大规模场景下的并行仿真，基于 SE(3) 上的非线性几何控制器，实现对姿态、速度和位置的精确跟踪。
• 开发可自定义的基于张量的资产管理器，用于在环境中动态随机化障碍物，防止导航任务中的过拟合。
• 在大规模场景下支持高保真传感器仿真（RGB、深度、语义分割、光流），以支持感知驱动的学习。
• 开源发布仿真器，并提供与主流强化学习框架集成的脚本，以加速飞行机器人导航研究。

提出的方法

• 基于 NVIDIA Isaac Gym 构建，利用 GPU 加速物理仿真与数千台机器人的并行仿真能力。
• 在特殊欧氏群 SE(3) 上实现非线性几何控制器，以在机体坐标系与惯性坐标系中实现对姿态、速度和位置的精确跟踪。
• 设计基于张量的资产管理器，通过 URDF 文件与配置文件随机采样并放置障碍物，支持自定义位置、方向及基于类别的分组。
• 支持在用户定义的范围内随机化障碍物的位置与方向，同时支持在特定维度中通过常数值实现固定放置。
• 集成模拟相机，利用 Isaac Gym 的张量级访问接口，为最多 1,024 台机器人以高达 1,800 fps 的帧率生成 RGB、深度、语义分割与光流数据。
• 提供与 cleanRL 和 rl-games 等强化学习框架兼容的训练脚本，支持通过姿态与速度指令接口实现目标到达任务。

实验结果

研究问题

• RQ1 具备 SE(3) 上几何控制的高并行化飞行机器人仿真器是否能在大规模场景下实现实时性能，同时模拟真实机器人接口？
• RQ2 在复杂环境导航的强化学习中，可自定义的大规模障碍物随机化在防止过拟合方面的有效性如何？
• RQ3 在使用 GPU 加速物理与渲染的前提下，多旋翼机器人在完整传感器仿真（含深度）下的最大仿真吞吐量是多少？
• RQ4 在并行化仿真环境中，传感器数据保真度（RGB、深度、语义分割、光流）在大规模场景下能保持到何种程度？
• RQ5 该仿真器与现有强化学习框架的集成程度如何，能否支持导航策略的端到端训练？

主要发现

• 仿真器对最多 131,072 台机器人实现每秒超过 380 万次仿真步长，相当于单台机器人实时仿真的 38,000 倍加速。
• 在 1,024 台机器人与深度相机（270×480 分辨率）条件下，仿真器可实现高达 1,800 帧每秒的渲染速度，证明了传感器数据生成的可扩展性。
• 基于张量的资产管理器可高效实现环境中障碍物位置与方向的随机化，支持多样化且不重复的障碍物配置。
• SE(3) 几何控制器的集成确保了姿态与速度跟踪的高精度，使高层控制接口能高度模拟真实机器人行为。
• 仿真器支持包含光流在内的多传感器数据流水线，支持在复杂环境中进行感知驱动的强化学习。
• 在 https://github.com/ntnu-arl/aerial_gym_simulator 开源发布，支持社区采用与未来开发，包括基于内核的光线投射技术以进一步优化渲染性能。