[论文解读] AirSim Drone Racing Lab

Ratnesh Madaan, Nicholas Gydé+8 more|arXiv (Cornell University)|Dec 14, 2019

Robotic Path Planning Algorithms参考文献 33被引用 14

一句话总结

本文介绍了 AirSim Drone Racing Lab，这是一个用于自主无人机竞速的高保真仿真框架，通过使用照片级真实感环境、多种传感器模态（包括单目、深度、光流和脉冲神经网络事件），以及全面的 API，支持感知、规划和控制算法的快速原型设计。该框架被用于在 NeurIPS 2019 上举办基于仿真的竞赛，展示了其在无人机自主性机器学习研究中的实用性，并具备强大的仿真到现实的迁移潜力。

ABSTRACT

Autonomous drone racing is a challenging research problem at the intersection of computer vision, planning, state estimation, and control. We introduce AirSim Drone Racing Lab, a simulation framework for enabling fast prototyping of algorithms for autonomy and enabling machine learning research in this domain, with the goal of reducing the time, money, and risks associated with field robotics. Our framework enables generation of racing tracks in multiple photo-realistic environments, orchestration of drone races, comes with a suite of gate assets, allows for multiple sensor modalities (monocular, depth, neuromorphic events, optical flow), different camera models, and benchmarking of planning, control, computer vision, and learning-based algorithms. We used our framework to host a simulation based drone racing competition at NeurIPS 2019. The competition binaries are available at our github repository.

研究动机与目标

• 解决由于真实世界实验成本高、风险大和复杂度高，导致自主无人机竞速研究的入门门槛过高的问题。
• 提供一个能紧密模拟真实世界条件的仿真环境，以实现对感知、规划和控制算法的稳健测试与泛化能力。
• 通过提供一个可扩展、可访问且可扩展的平台，促进机器学习研究，用于训练和基准测试端到端自主系统。
• 通过照片级真实感渲染、领域随机化，以及对多种传感器模态（包括事件相机和光流）的支持，弥合仿真与现实之间的差距。
• 举办大规模、仅基于仿真的竞赛（NeurIPS 2019 的 Drone 比赛），以吸引并激励机器学习社区参与无人机竞速挑战。

提出的方法

• 基于 AirSim 和 Unreal Engine 构建，利用其高保真图形和物理仿真能力，实现照片级真实感环境和精确的无人机动力学模拟。
• 提供全面的 API，支持底层控制（如姿态速率和推力指令）、中层控制（速度和位置设定点）以及高层轨迹规划（样条拟合与轨迹跟踪）。
• 支持生成可配置复杂度的竞速赛道，包括可变曲率和门可见性指标，用于评估规划与感知挑战。
• 集成多种传感器模态的支持：单目 RGB、深度图、光流，以及通过 GPU 加速计算着色器实现的脉冲神经网络事件感知。
• 通过纹理随机化和相机参数变化实现领域随机化，以提升仿真到现实的泛化能力。
• 利用基于 GPU 的着色器实现实时事件生成，计算像素强度差异并将其转换为异步事件数据。

实验结果

研究问题

• RQ1 高保真仿真框架是否能在保持强大仿真到现实迁移能力的同时，降低自主无人机竞速系统开发的时间、成本和风险？
• RQ2 在仿真环境中集成多种传感器模态（尤其是脉冲神经网络事件和光流）对训练端到端学习型智能体的有效性如何？
• RQ3 基于仿真的竞赛在多大程度上能够吸引并激励机器学习社区参与解决无人机竞速中复杂的多模块自主性问题？
• RQ4 赛道复杂度指标（如曲率和门可见性）与自主无人机竞速中感知、规划和控制任务难度之间的相关性如何？
• RQ5 在仿真中使用领域随机化和真实感传感器建模，是否能提升所学策略在真实世界无人机竞速场景中的泛化能力？

主要发现

• AirSim Drone Racing Lab 框架成功支持了在 NeurIPS 2019 上举办的大规模、仅基于仿真的无人机竞速竞赛，吸引了来自机器学习社区的多样化参与。
• 该框架支持高保真仿真，具备照片级真实感渲染，可有效用于视觉驱动和学习型算法的训练与评估。
• 通过 GPU 加速着色器实现实时脉冲神经网络事件数据和光流生成，支持低延迟、高性能的异步与运动感知仿真。
• 赛道复杂度指标（曲率和门可见性）被定量可视化，并用于评估不同比赛环境中规划与感知任务的难度。
• 多种传感器模态（包括单目、深度、光流和事件感知）的集成，使得感知与控制算法的全面基准测试成为可能。
• 该框架可扩展的 API 和领域随机化支持，促进了鲁棒策略训练，并提升了自主无人机竞速的仿真到现实泛化能力。