[論文レビュー] ROS georegistration: Aerial Multi-spectral Image Simulator for the Robot Operating System

Andrew Willis, Kevin Brink+1 more|arXiv (Cornell University)|Jan 19, 2022

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

本論文では、ROS/GazeboベースのシミュレータであるROSgeoregistrationを提案する。このシミュレータは、Google Earth Engineのマルチスペクトル画像を高精度な地理空間的・放射的正確性を備えた航空電気光学（EO）および合成開口レーダ（SAR）画像のシミュレーションと統合する。リアルタイムで同期されたセンサデータ（EO/SAR、IMU、GPS）と真値ポーズのシミュレーションを可能とし、GPSなし環境における画像ベースのナビゲーションおよびジオレジストレーションアルゴリズムのテストを、現実的でスケーラブルなUASシミュレーション環境でROSエコシステムに完全統合して行える。

ABSTRACT

This article describes a software package called ROS georegistration intended for use with the Robot Operating System (ROS) and the Gazebo 3D simulation environment. ROSgeoregistration provides tools for the simulation, test and deployment of aerial georegistration algorithms and is made available with a link provided in the paper. A model creation package is provided which downloads multi-spectral images from the Google Earth Engine database and, if necessary, incorporates these images into a single, possibly very large, reference image. Additionally a Gazebo plugin which uses the real-time sensor pose and image formation model to generate simulated imagery using the specified reference image is provided along with related plugins for UAV relevant data. The novelty of this work is threefold: (1) this is the first system to link the massive multi-spectral imaging database of Google's Earth Engine to the Gazebo simulator, (2) this is the first example of a system that can simulate geospatially and radiometrically accurate imagery from multiple sensor views of the same terrain region, and (3) integration with other UAS tools creates a new holistic UAS simulation environment to support UAS system and subsystem development where real-world testing would generally be prohibitive. Sensed imagery and ground truth registration information is published to client applications which can receive imagery synchronously with telemetry from other payload sensors, e.g., IMU, GPS/GNSS, barometer, and windspeed sensor data. To highlight functionality, we demonstrate ROSgeoregistration for simulating Electro-Optical (EO) and Synthetic Aperture Radar (SAR) image sensors and an example use case for developing and evaluating image-based UAS position feedback, i.e., pose for image-based Guidance Navigation and Control (GNC) applications.

研究の動機と目的

• GPSを欠如したナビゲーション研究に向けた、現実的でマルチスペクトル的・ジオレファレンス付き航空画像のアクセス制限を解消すること。
• UASシステムおよびサブシステム開発のため、同期的でリアルタイムのセンサデータ（EO/SAR、IMU、GPS、気圧計）をシミュレートすること。
• 画像ベースの誘導・ナビゲーション・制御（GNC）パイプラインのエンドツーエンドテストを支援する包括的かつROS統合型のシミュレーション環境を提供すること。
• 大規模な地球観測データ（Google Earth Engine）と高精度なフライトシミュレーション（Gazebo/ROS）の間のギャップを埋めること。
• EOからEOおよびEOからSARへの画像マッチングに適したジオレジストレーションアルゴリズムの開発と評価を支援すること。

提案手法

• システムは、Google Earth Engineから自動的にマルチスペクトル画像をダウンロードし、それらを大規模でジオレファレンス付きの基準画像にスターチングするためのモデル作成パッケージを使用する。
• 独自のGazeboプラグインが、基準画像と正確なカメラ／センサのポーズおよび画像形成モデルを用いて、リアルタイムでセンサ固有のシミュレート画像を生成する。
• このシミュレータは、EOおよびSARを含む複数のセンサモダリティをサポートし、現実の条件と同等の放射的および幾何的正確性を備える。
• データ統合と真値評価を可能にするために、画像とともに同期されたテレメトリデータ（IMU、GPS、空速、コンpasses）を公開する。
• システムは、完全なUASセンサおよびナビゲーションパイプラインのリアルタイム、非リアルタイム、再生ベースのシミュレーションを可能にする。
• 既存のROSツールおよびUAVシミュレーションフレームワークと統合され、一貫性があり拡張可能なシミュレーション環境を形成する。

実験結果

リサーチクエスチョン

• RQ1 Google Earth EngineのマルチスペクトルデータベースとGazebo/ROSエコシステムを効果的にリンクするシミュレーションフレームワークは、現実的なUASシミュレーションを可能にするか？
• RQ2 同じ地形領域から、地理空間的および放射的に正確なEOおよびSAR画像を、一貫性のあるポーズおよびセンサモデリングで生成できるか？
• RQ3 このシミュレータは、画像ベースのナビゲーションおよびジオレジストレーションアルゴリズムの開発と評価をどの程度支援できるか？
• RQ4 特徴ベースおよび相互情報ベースの登録手法は、シミュレートされたEO-to-EOおよびEO-to-SAR画像ペアにおいて、どの程度の性能を示すか？
• RQ5 このシミュレータは、同期的かつ真値正確なセンサデータを備えた、現実的で高高度のUAS飛行プロファイルをサポートできるか？

主な発見

• シミュレータは、Google Earth EngineのマルチスペクトルデータベースとGazeboおよびROSを効果的にリンクし、大規模な基準地形マップの自動取得およびスターチングを可能にした。
• 同じ基準地形から、地理空間的および放射的に正確なEOおよびSAR画像が生成され、視点間で一貫性のあるポーズおよびセンサモデリングが保証された。
• 特徴ベースのマッチング（ORBにRANSACを組み合わせたもの）は、EO-to-EO画像登録において優れた性能を示し、真値による検証で正確なホモロジー推定が達成された。
• 相互情報ベースの登録は、EO-to-SARマッチングにおいて特徴ベース手法を上回り、モダリティの違いに対して高いロバスト性を示した。
• シミュレータは、画像とともに同期的かつ真値正確なテレメトリ（IMU、GPSなど）を提供し、画像補助ナビゲーションパイプラインのエンドツーエンドテストを可能にした。
• このツールは、完全なUASセンサおよびナビゲーションシステムのリアルタイムおよび非リアルタイムシミュレーションを可能にし、研究開発の両方のワークフローを支援した。