[論文レビュー] Cosys-AirSim: A Real-Time Simulation Framework Expanded for Complex Industrial Applications

Wouter Jansen, Erik Verreycken+5 more|arXiv (Cornell University)|Mar 23, 2023

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

本論文では、LiDAR、レーダー、ビジョンセンサーの物理的精度の高いシミュレーションを可能にし、自律走行と転移学習をサポートする、拡張されたAirSimを基盤とするオープンソースでリアルタイムのシミュレーションフレームワークであるCosys-AirSimを提示する。このフレームワークは、動的で手続き的生成された環境において、LiDAR、レーダー、ビジョンセンサーの高精細かつ物理的に正確なシミュレーションを実現し、産業分野におけるロボット工学やAIの学習におけるシミュレーションと実世界のギャップを顕著に縮小する。

ABSTRACT

Within academia and industry, there has been a need for expansive simulation frameworks that include model-based simulation of sensors, mobile vehicles, and the environment around them. To this end, the modular, real-time, and open-source AirSim framework has been a popular community-built system that fulfills some of those needs. However, the framework required adding systems to serve some complex industrial applications, including designing and testing new sensor modalities, Simultaneous Localization And Mapping (SLAM), autonomous navigation algorithms, and transfer learning with machine learning models. In this work, we discuss the modification and additions to our open-source version of the AirSim simulation framework, including new sensor modalities, vehicle types, and methods to generate realistic environments with changeable objects procedurally. Furthermore, we show the various applications and use cases the framework can serve.

研究の動機と目的

• 標準的なADAS/AD用途を超えた、複雑な産業用ロボット工学やAIアプリケーションをサポートする、柔軟でリアルタイムのシミュレーションフレームワークの需要に対応すること。
• LiDDR、パルスエコー・レーダー、マルチスペクトルセンサーを含む、新しいセンサーモダリティを追加し、リアルなデータ生成を可能にする、オープンソースのAirSimフレームワークの拡張。
• カスタマイズ可能なオブジェクトと構造的制約を備えた、複雑で変更可能な屋内および屋外環境の手続き的生成を可能にすること。
• 正確なセンサーシミュレーションから得られる合成データを用いて、自律走行、SLAM、転移学習パイプラインの開発と検証を可能にすること。
• 物理的精度の高いセンサーや車両モデルを保証することで、ロボットシステムの実世界への展開を実現するため、シミュレーションと実世界のギャップを埋めること。

提案手法

• LiDAR、レーダー、マルチスペクトルイメージングのための新しいセンサープラグインをAirSimフレームワークに統合し、センサーデータの物理的正確なシミュレーションを可能にした。
• ルールベースの制約とオブジェクト配置アルゴリズムを用いて、多様で現実的で動的なシーンを生成する屋内および屋外環境の手続き的生成を実装した。
• 正確な運動学的・動力学的モデルを備えた地上および空中車両（例：AGV、ドローン）のリアルタイムシミュレーションを統合し、自律走行のテストを可能にした。
• セマンティックセグメンテーションのためのディープラーニングモデルの学習に適した、大規模でラベル付きのLiDAR点群および深度画像データセットの生成を可能にした。
• シミュレーションと実世界のデータを一致させるシミュレーションから実世界への転送パイプラインを提供し、SLAMおよびナビゲーションベンチマークによる検証を実施した。
• リアルタイムトラッキングシステムとの統合を支援し、トレーニングデータの記録・再生・拡張を可能にし、MLモデルの学習を支援した。

Figure 1: Block diagram of the software connection between the Unreal Engine and the AirSim Framework and their sub-elements. Furthermore, the major extensions discussed in this paper are listed on the right side.

実験結果

リサーチクエスチョン

• RQ1 物理的正確性の高いLiDARやパルスエコー・レーダーなどの複雑な産業用センサーモダリティをサポートする、リアルタイムでオープンソースのシミュレーションフレームワークを拡張することは可能か？
• RQ2 動的でルールベースのオブジェクト配置を伴う環境の手続き的生成は、合成トレーニングデータの現実性と多様性をどの程度向上できるか？
• RQ3 シミュレーションベースのSLAMおよびナビゲーションアルゴリズムのトレーニングと検証は、産業環境における実世界の性能をどの程度正確に再現できるか？
• RQ4 本拡張フレームワークから得られる合成データを用いて、ロボット工学アプリケーションのディープラーニングモデルを学習する際のシミュレーションと実世界のギャップはどの程度の大きさか？
• RQ5 本フレームワークは、実世界でのデータ収集が制限される無飛行区域や高リスク地域におけるドローン用に、効率的でスケーラブルなデータ生成を可能にするか？

主な発見

• 差動式AGVにパルスエコー・レーダーを搭載した場合、シミュレーションと実世界の実験におけるナビゲーションのずれが±1.9%に抑えられた。
• シミュレーションにおけるSLAMアルゴリズムの誤差は、軌道の95％で3.2 m未満であり、実世界のオドメトリベースのアルゴリズム（軌道の85％で最小10 mの誤差）を著しく上回った。
• 本フレームワークは、通常は希少で収集にコストがかかる屋内の環境向けに、物理的に正確なラベル付きLiDARデータセットの生成を可能にした。
• 手続き的環境生成により、倉庫や温室などの特定の産業用途に適合した、多様で現実的で動的な屋内および屋外シーンの迅速な作成が可能になった。
• 本シミュレーションフレームワークは、レーダーに基づくナビゲーションおよびSLAMにおけるシミュレーションと実世界のギャップを顕著に低減し、実世界のアルゴリズム開発および検証に有効であることを検証した。
• オープンソースの拡張により、実世界でのデータ収集が制限される屋外環境におけるドローン用に、スケーラブルなデータ生成が可能となり、セグメンテーションモデルの学習が可能になった。

Figure 2: ( a ) Differential drive steering model vehicles like the Clearpath Robotics Husky and Pioneer P3-DX were added. ( b ) The unique object-based instance segmentation gives each object a unique label and color.