[论文解读] Cosys-AirSim: A Real-Time Simulation Framework Expanded for Complex Industrial Applications

Wouter Jansen, Erik Verreycken+5 more|arXiv (Cornell University)|Mar 23, 2023

Robotics and Sensor-Based Localization被引用 4

一句话总结

本文提出 Cosys-AirSim，一个基于 AirSim 扩展的开源实时仿真框架，通过增强的传感器模态、程序化环境生成以及对自主导航和迁移学习的支持，支持复杂工业应用。该框架能够在动态、程序化生成的环境中实现高保真、物理准确的激光雷达、雷达和视觉传感器仿真，显著缩小机器人技术和工业场景下人工智能训练的仿真到现实差距。

ABSTRACT

Within academia and industry, there has been a need for expansive simulation frameworks that include model-based simulation of sensors, mobile vehicles, and the environment around them. To this end, the modular, real-time, and open-source AirSim framework has been a popular community-built system that fulfills some of those needs. However, the framework required adding systems to serve some complex industrial applications, including designing and testing new sensor modalities, Simultaneous Localization And Mapping (SLAM), autonomous navigation algorithms, and transfer learning with machine learning models. In this work, we discuss the modification and additions to our open-source version of the AirSim simulation framework, including new sensor modalities, vehicle types, and methods to generate realistic environments with changeable objects procedurally. Furthermore, we show the various applications and use cases the framework can serve.

研究动机与目标

• 为应对日益增长的对灵活、实时仿真框架的需求，以支持超出标准 ADAS/AD 应用场景的复杂工业机器人和人工智能应用。
• 在开源 AirSim 框架中扩展新型传感器模态，包括 LiDDR、脉冲回波雷达和多光谱传感器，以实现真实数据生成。
• 实现复杂、可变的室内外环境的程序化生成，支持自定义物体和结构约束。
• 通过高保真传感器仿真生成的合成数据，支持自主导航、SLAM 和迁移学习流程的开发与验证。
• 通过确保高保真传感器与车辆建模，缩小仿真到现实的差距，实现机器人系统在真实场景中的部署。

提出的方法

• 在 AirSim 框架中扩展了用于激光雷达、雷达和多光谱成像的新型传感器插件，实现传感器数据的物理精确仿真。
• 通过基于规则的约束和物体布局算法，实现室内外环境的程序化生成，创建多样化、逼真且动态的场景。
• 集成地面和空中车辆（如 AGV、无人机）的实时仿真，具备精确的运动学与动力学模型，用于自主导航测试。
• 支持大规模、带标签的激光雷达点云和深度图像数据集生成，用于训练语义分割的深度学习模型。
• 通过将仿真传感器数据与真实实验对齐，提供仿真到现实的迁移流程，并通过 SLAM 和导航基准测试进行验证。
• 支持与实时追踪系统的集成，用于记录、回放和增强机器学习模型的训练数据。

Figure 1: Block diagram of the software connection between the Unreal Engine and the AirSim Framework and their sub-elements. Furthermore, the major extensions discussed in this paper are listed on the right side.

实验结果

研究问题

• RQ1 能否将一个实时开源仿真框架扩展，以支持如激光雷达和脉冲回波雷达等复杂工业传感器模态，并实现高物理保真度？
• RQ2 通过基于规则的动态物体布局实现环境的程序化生成，在多大程度上能提升合成训练数据的逼真度与多样性？
• RQ3 基于仿真的 SLAM 和导航算法训练与验证，其性能在多大程度上能真实复现工业环境中的实际表现？
• RQ4 在机器人应用中，使用该扩展框架生成的合成数据训练深度学习模型时，仿真到现实的差距有多大？
• RQ5 该框架能否支持在禁飞区或高风险区域中无人机的高效、可扩展的数据生成，从而在真实世界数据采集受限时提供解决方案？

主要发现

• Cosys-AirSim 框架在配备脉冲回波雷达的差速驱动 AGV 上，实现了仿真与真实实验之间导航偏差仅为 ±1.9%。
• 仿真中的 SLAM 算法在 95% 的轨迹中误差小于 3.2 m，显著优于真实世界基于航位推算的算法，后者在 85% 的轨迹中最小误差达 10 m。
• 该框架实现了高保真、带标签的室内激光雷达数据集生成，而此类数据在现实中通常稀缺且人工采集成本高昂。
• 程序化环境生成可快速创建多样化、逼真的室内外场景，适用于特定工业应用场景（如仓库和温室）。
• 仿真框架成功缩小了基于雷达的导航与 SLAM 的仿真到现实差距，验证了其在真实世界算法开发与测试中的适用性。
• 开源扩展支持无人机的可扩展数据生成，使在真实世界数据采集受限的合成室外环境中训练分割模型成为可能。

Figure 2: ( a ) Differential drive steering model vehicles like the Clearpath Robotics Husky and Pioneer P3-DX were added. ( b ) The unique object-based instance segmentation gives each object a unique label and color.