[论文解读] AirSim: High-Fidelity Visual and Physical Simulation for Autonomous Vehicles

Shital Shah, Debadeepta Dey+2 more|arXiv (Cornell University)|May 15, 2017

Simulation Techniques and Applications参考文献 15被引用 7

一句话总结

AirSim 是一个基于 Unreal Engine 构建的开源、高保真度仿真平台，可实现对自动驾驶车辆（尤其是四旋翼飞行器）的物理和视觉上逼真的训练与测试。它支持基于 MavLink 协议的实时硬件在回路仿真，具备精确的传感器建模能力，并可无缝将学习到的策略部署到真实系统中，实现在仿真与真实飞行之间轨迹高度相似（Hausdorff 距离 <1.5 米）。

ABSTRACT

Developing and testing algorithms for autonomous vehicles in real world is an expensive and time consuming process. Also, in order to utilize recent advances in machine intelligence and deep learning we need to collect a large amount of annotated training data in a variety of conditions and environments. We present a new simulator built on Unreal Engine that offers physically and visually realistic simulations for both of these goals. Our simulator includes a physics engine that can operate at a high frequency for real-time hardware-in-the-loop (HITL) simulations with support for popular protocols (e.g. MavLink). The simulator is designed from the ground up to be extensible to accommodate new types of vehicles, hardware platforms and software protocols. In addition, the modular design enables various components to be easily usable independently in other projects. We demonstrate the simulator by first implementing a quadrotor as an autonomous vehicle and then experimentally comparing the software components with real-world flights.

研究动机与目标

• 通过提供大规模、安全且多样的仿真环境，解决自动驾驶车辆真实世界训练的高成本与高风险问题。
• 通过提供物理和视觉上逼真的环境，弥合仿真到现实的差距，使其尽可能贴近真实世界条件。
• 通过生成高质量、带标注的训练数据，支持数据驱动的机器学习技术（如强化学习和深度学习）。
• 通过标准协议（如 MavLink）支持硬件在回路（HITL）仿真，连接真实的飞行控制器（如 PX4、Pixhawk）。
• 设计模块化、可扩展的仿真器，支持物理引擎、车辆模型和传感器模型等组件的独立复用。

提出的方法

• 利用 Unreal Engine 实现高保真视觉渲染，包括柔光阴影、反射效果以及复杂的环境细节。
• 集成高频物理引擎，实现实时、精确的车辆动力学与执行器响应仿真。
• 通过公开 API 和协议接口（如 MavLink）支持硬件在回路（HITL）仿真，连接真实的飞行控制器固件。
• 基于制造商数据手册对传感器（IMU、气压计、磁力计）进行建模，以复现真实世界中的噪声、偏差和动态特性。
• 采用模块化架构，将环境、车辆、物理、传感器和渲染组件解耦，以支持可扩展性与独立复用。
• 采用时空轨迹分析与 Hausdorff 距离，对仿真保真度进行定量验证，对比真实飞行数据。

实验结果

研究问题

• RQ1 仿真平台能否实现高视觉与物理保真度，以支持自动驾驶车辆策略的可靠训练？
• RQ2 四旋翼飞行器在复杂机动中的仿真行为在多大程度上匹配真实飞行动力学？
• RQ3 仿真中传感器模型（IMU、气压计、磁力计）在多大程度上能准确复现真实传感器特性？
• RQ4 在仿真中训练的策略能否无需修改直接部署到真实硬件上？
• RQ5 该仿真器的模块化设计在支持新车辆、新传感器和新协议的可扩展性方面表现如何？

主要发现

• 圆形机动的仿真轨迹与真实飞行轨迹的 Hausdorff 距离为 1.47 米，表明轨迹高度相似。
• 方形机动的仿真轨迹与真实飞行轨迹的 Hausdorff 距离为 0.65 米，表明路径跟踪具有高保真度。
• 仿真中 IMU 的噪声特性与真实世界静止状态下的测量结果高度一致（例如，陀螺仪方差：2.47×10⁻⁷ vs. 6.71×10⁻⁷ rad²/s²），但飞行中的方差被低估。
• 仿真中气压计与磁力计的响应在静态和动态条件下均与真实测量结果高度匹配，具有相似的信号特征和因绝对压力差异导致的偏移。
• 该仿真器可通过一致的 API 实现学习策略到真实车辆的直接部署，显著缩小仿真到现实的迁移差距。
• 模块化架构支持将核心组件（如物理引擎、传感器模型）独立使用，可在其他项目中复用。