[论文解读] Flightmare: A Flexible Quadrotor Simulator

Yunlong Song, Selim Naji+3 more|arXiv (Cornell University)|Sep 1, 2020

Robotic Path Planning Algorithms参考文献 23被引用 58

一句话总结

Flightmare 将渲染与物理解耦，提供一个快速、可配置的四旋翼仿真器，具备丰富传感器、多人强化学习支持和 VR 集成。它在笔记本电脑上实现最高 230 Hz 的渲染和 200,000 Hz 的动力学，且支持并行数百个无人机。

ABSTRACT

State-of-the-art quadrotor simulators have a rigid and highly-specialized structure: either are they really fast, physically accurate, or photo-realistic. In this work, we propose a novel quadrotor simulator: Flightmare. Flightmare is composed of two main components: a configurable rendering engine built on Unity and a flexible physics engine for dynamics simulation. Those two components are totally decoupled and can run independently of each other. This makes our simulator extremely fast: rendering achieves speeds of up to 230 Hz, while physics simulation of up to 200,000 Hz on a laptop. In addition, Flightmare comes with several desirable features: (i) a large multi-modal sensor suite, including an interface to extract the 3D point-cloud of the scene; (ii) an API for reinforcement learning which can simulate hundreds of quadrotors in parallel; and (iii) integration with a virtual-reality headset for interaction with the simulated environment. We demonstrate the flexibility of Flightmare by using it for two different robotic tasks: quadrotor control using deep reinforcement learning and collision-free path planning in a complex 3D environment.

研究动机与目标

• 通过解耦渲染与动力学实现快速且物理灵活的四旋翼仿真。
• 为机器人和 RL 研究提供丰富的传感器套件和环境选项。
• 支持大规模并行数据采集与学习控制的训练。
• 通过 VR 和实时接口架起仿真与现实世界机器人之间的桥梁。

提出的方法

• 两个解耦的模块：一个基于 Unity 的渲染引擎和一个灵活的四旋翼动力学模型。
• 异步 ZeroMQ 基于接口实现渲染与动力学模块之间的快速通信。
• 三种动力学选项：基于 Gazebo 的、现实世界的、以及并行化的经典四旋翼动力学。
• 渲染支持可配置传感器（RGB、深度、分割）和相机效果；输出地面真实点云（PLY）通过 Open3D。
• OpenAI Gym 风格的 Python API 支持 RL 训练；任务使用 PPO，支持并行采样（在规模化时每分钟约 ~2M 次样本）。

实验结果

研究问题

• RQ1 将渲染与物理解耦如何影响学习型控制的仿真速度与可用性？
• RQ2 Flightmare 能否通过并行仿真数百个四旋翼来加速 RL 的数据采集？
• RQ3 哪种传感器模态和环境特征对学习与感知研究最有帮助？
• RQ4 仿真器在路径规划、RL 任务和基于 VR 的人机交互方面的支持效果如何？

主要发现

• 渲染可以超实时性能，在 Garage 环境中多摄像头时达到 230 Hz。
• 物理动力学在多核 CPU 上可达到每秒 200,000 次步骤。
• 并行运行 150 架四旋翼可达到超过 200,000 次步骤/秒；使用 MLP 策略和 PPO 时约每分钟 200 万样本。
• RL 任务包括四旋翼稳定、马达故障恢复、快速闸门穿越，在每个任务上用 PPO 训练，时间步长达到 25M。
• Flightmare 导出环境点云（PLY）用于用 OMPL 进行规划，在森林环境中实现最短路径约 1 秒的计算。
• VR 集成使安全、就地的人机交互实验成为可能。