[논문 리뷰] ROS georegistration: Aerial Multi-spectral Image Simulator for the Robot Operating System

Andrew Willis, Kevin Brink외 1명|arXiv (Cornell University)|2022. 01. 19.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 논문은 ROS/Gazebo 기반 시뮬레이터인 ROSgeoregistration을 제안한다. 이는 Google Earth Engine의 다중 스펙트럼 영상과 고정밀도의 지리공간적·복사적 정확도를 갖춘 항공 전자광학(EO) 및 합성(aperture) 레이더(SAR) 영상 시뮬레이션을 통합한다. 이는 실시간으로 동기화된 센서 데이터(EO/SAR, IMU, GPS)와 지상 진위 자세를 제공하여, 현실적이고 확장 가능한 UAS 시뮬레이션 환경에서 이미지 기반 항법 및 지오레지지스트레이션 알고리즘 테스트를 가능하게 하며, ROS 생태계에 완전 통합되어 있다.

ABSTRACT

This article describes a software package called ROS georegistration intended for use with the Robot Operating System (ROS) and the Gazebo 3D simulation environment. ROSgeoregistration provides tools for the simulation, test and deployment of aerial georegistration algorithms and is made available with a link provided in the paper. A model creation package is provided which downloads multi-spectral images from the Google Earth Engine database and, if necessary, incorporates these images into a single, possibly very large, reference image. Additionally a Gazebo plugin which uses the real-time sensor pose and image formation model to generate simulated imagery using the specified reference image is provided along with related plugins for UAV relevant data. The novelty of this work is threefold: (1) this is the first system to link the massive multi-spectral imaging database of Google's Earth Engine to the Gazebo simulator, (2) this is the first example of a system that can simulate geospatially and radiometrically accurate imagery from multiple sensor views of the same terrain region, and (3) integration with other UAS tools creates a new holistic UAS simulation environment to support UAS system and subsystem development where real-world testing would generally be prohibitive. Sensed imagery and ground truth registration information is published to client applications which can receive imagery synchronously with telemetry from other payload sensors, e.g., IMU, GPS/GNSS, barometer, and windspeed sensor data. To highlight functionality, we demonstrate ROSgeoregistration for simulating Electro-Optical (EO) and Synthetic Aperture Radar (SAR) image sensors and an example use case for developing and evaluating image-based UAS position feedback, i.e., pose for image-based Guidance Navigation and Control (GNC) applications.

연구 동기 및 목표

• GPS가 비활성화된 항법 연구를 위한 현실적이고 다중 스펙트럼이며 지도 기반 항공 영상에 접근성이 부족한 문제를 해결하기 위해.
• UAS 시스템 및 서브시스템 개발을 위한 실시간, 동기화된 센서 데이터(EO/SAR, IMU, GPS, 기압계) 시뮬레이션을 가능하게 하기 위해.
• 이미지 기반 지도, 항법, 제어(GNC) 파이프라인의 종단 간 테스트를 지원하는 통합된 ROS 기반 시뮬레이션 환경을 제공하기 위해.
• 대규모 지구 관측 데이터(Google Earth Engine)와 고정밀도 비행 시뮬레이션(Gazebo/ROS) 사이의 격차를 메우기 위해.
• EO-EO 및 EO-SAR 영상 매칭을 위한 지오레지지스트레이션 알고리즘의 개발 및 평가를 지원하기 위해.

제안 방법

• 시스템은 Google Earth Engine에서 다중 스펙트럼 영상을 자동으로 다운로드하고, 이를 큰 지도 기반 참조 영상으로 조합하는 모델 생성 패키지를 사용한다.
• 사용자 정의 Gazebo 플러그인은 참조 영상과 정확한 카메라/센서 자세 및 영상 형성 모델을 사용하여 실시간으로 센서 전용 시뮬레이션 영상을 생성한다.
• 이 시뮬레이터는 EO 및 SAR를 포함한 여러 센서 모odalities를 지원하며, 실제 조건과 유사한 복사적 및 기하학적 정확도를 갖춘다.
• 영상과 함께 동기화된 텔레메트리 데이터(IMU, GPS, 공기 속도, 자석계)를 발행하여 데이터 융합 및 지상 진위 평가를 가능하게 한다.
• 시스템은 완전한 UAS 센서 및 항법 파이프라인의 실시간, 비실시간, 재생 기반 시뮬레이션을 지원한다.
• 기존의 ROS 도구 및 UAV 시뮬레이션 프레임워크와 통합되어 일관되고 확장 가능한 시뮬레이션 환경을 형성한다.

실험 결과

연구 질문

• RQ1 Google Earth Engine의 다중 스펙트럼 데이터베이스와 Gazebo/ROS 생태계를 효과적으로 연결할 수 있는 시뮬레이션 프레임워크는 현실적인 UAS 시뮬레이션을 가능하게 하는가?
• RQ2 일관된 자세 및 센서 모델링 하에 동일한 지형 지역에서 지리공간적·복사적 정확도를 갖춘 EO 및 SAR 영상을 생성할 수 있는가?
• RQ3 이 시뮬레이터는 얼마나 잘 이미지 기반 항법 및 지오레지지스트레이션 알고리즘의 개발 및 평가를 지원하는가?
• RQ4 특징 기반 및 상호정보 기반 정렬 방법은 시뮬레이션된 EO-EO 및 EO-SAR 영상 쌍에서 얼마나 잘 작동하는가?
• RQ5 이 시뮬레이터는 실시간으로 정확한 진위 데이터를 갖춘 동기화된 센서 데이터를 제공하면서 고고도 UAS 비행 프로파일을 현실적으로 지원할 수 있는가?

주요 결과

• 시뮬레이터는 Google Earth Engine의 다중 스펙트럼 데이터베이스를 Gazebo 및 ROS와 성공적으로 연결하여 대규모 참조 지형 지도의 자동 확보 및 조합을 가능하게 하였다.
• 동일한 참조 지형에서 지리공간적·복사적 정확도를 갖춘 EO 및 SAR 영상을 일관된 자세 및 센서 모델링 하에 생성하였다.
• 특징 기반 매칭(ORB + RANSAC)은 EO-EO 영상 정렬에서 우수한 성능을 보였으며, 지상 진위 데이터로 검증된 정확한 호모지어티 추정을 달성하였다.
• 상호정보 기반 정렬은 모달리티의 차이에 대해 더 강건한 성능을 보이며, EO-SAR 매칭에서 특징 기반 방법을 능가하였다.
• 시뮬레이터는 영상과 함께 동기화되고 진위 정확도를 갖춘 텔레메트리(IMU, GPS 등)를 제공하여 이미지 보조 항법 파이프라인의 종단 간 테스트를 가능하게 하였다.
• 이 도구는 완전한 UAS 센서 및 항법 시스템의 실시간 및 비실시간 시뮬레이션을 지원하여 연구 및 개발 워크플로우를 모두 지원한다.