[논문 리뷰] ALTO: A Large-Scale Dataset for UAV Visual Place Recognition and Localization

Iván Cisneros, Peng Yin외 3명|arXiv (Cornell University)|2022. 07. 19.

Robotics and Sensor-Based Localization인용 수 15

한 줄 요약

ALTO는 오ハイ오주와 펜실베이니아주를 비행한 150km 및 260km의 헬리콥터 비행을 포함하는 대규모 실세계 UAV 데이터셋으로, 고정밀 GPS-INS, 레이저 고도계, 가속도계 및 정면 하향 방향 RGB 영상이 포함되어 있다. 이 데이터셋은 지도 기반 정렬 영상 기반으로 시각적 장소 인식 및 정렬 방법의 벤치마킹을 가능하게 하며, 현재까지 공중 플랫폼에서 가장 큰 규모의 이러한 데이터셋을 제공한다.

ABSTRACT

We present the ALTO dataset, a vision-focused dataset for the development and benchmarking of Visual Place Recognition and Localization methods for Unmanned Aerial Vehicles. The dataset is composed of two long (approximately 150km and 260km) trajectories flown by a helicopter over Ohio and Pennsylvania, and it includes high precision GPS-INS ground truth location data, high precision accelerometer readings, laser altimeter readings, and RGB downward facing camera imagery. In addition, we provide reference imagery over the flight paths, which makes this dataset suitable for VPR benchmarking and other tasks common in Localization, such as image registration and visual odometry. To the author's knowledge, this is the largest real-world aerial-vehicle dataset of this kind. Our dataset is available at https://github.com/MetaSLAM/ALTO.

연구 동기 및 목표

• 시각적 장소 인식(VPR) 및 UAV에서의 정렬을 위한 대규모 실세계 공중 데이터셋의 부족을 보완한다.
• 정확도가 높은 다중 센서 데이터(GPS-INS, 레이저 고도계, 자이로스코프, RGB 영상)를 제공하여 강력한 UAV 항법 연구를 지원한다.
• 지리적 기반 정렬 영상 기반 데이터베이스를 활용하여 VPR 및 정렬 방법의 벤치마킹을 가능하게 한다.
• GPS 신호 장애 및 환경 변화에 강건한 시각 기반 항법 시스템 개발을 지원한다.
• 실세계 공중 데이터를 활용한 시각적 오도메트리, 영상 정렬 및 지형 기반 항법 분야의 연구를 촉진한다.

제안 방법

• 벨 헬리콥터에 맞춤형 센서 패킷을 장착하여 장시간 비행(150km 및 260km)을 수행한 UAV 비행을 수집하였다.
• 정면 하향 방향의 IDS UI-5250RE-C RGB 카메라(20Hz, 1600×1200 해상도, 글로벌 shuttter)를 패킷에 탑재하였다.
• NovAtel SPAN OEMV GPS-INS 시스템(200Hz, 수평 정밀도 RMS 1.5m)과 Loke LMC-J-0310-1 레이저 고도계(20Hz, 해상도 1mm)를 통합하였다.
• NAIP GeoTIFF를 확보하고 처리하여 비행 경로 전역을 커버하는 고해상도 지도 기반 정렬 영상 생성하였다.
• 센서 정렬 및 영상 재정렬을 위한 좌표 프레임 변환(ECEF, ins_frame, ltf(NED 탄젠트 평면))을 제공하였다.
• https://github.com/MetaSLAM/ALTO 에서 동기화된 센서 로그와 사전 처리된 정렬 영상이 포함된 데이터셋을 공개하였다.

실험 결과

연구 질문

• RQ1 일관된 조명 조건에서 다양한 지형을 포함한 대규모 실세계 UAV 비행 환경에서 현재의 VPR 방법은 얼마나 효과적인가?
• RQ2 GPS 가용성이 극도로 제한된 상황에서 시각적 장소 인식 시스템이 수 킬로미터에 걸친 비행 동안 얼마나 강건한 정렬 성능을 발휘할 수 있는가?
• RQ3 고정밀 GPS-INS 및 레이저 고도계 데이터의 통합이 시각적 정렬의 정확도와 신뢰성에 어떤 영향을 미치는가?
• RQ4 지리적 기반 정렬 영상은 UAV 시각적 장소 인식을 위한 효과적이고 확장 가능한 기반 데이터베이스로 기능할 수 있는가?
• RQ5 대규모 공중 환경에서 시간이 지남에 따라 발생하는 시각적 애너니미(시각적 오해)와 환경 변화로 인해 시각적 정렬 과정에서 발생하는 주요 과제는 무엇인가?

주요 결과

• ALTO는 유사한 종류의 데이터셋 중 가장 큰 실세계 UAV 데이터셋으로, 총 410km의 연속된 공중 데이터를 포함한다.
• 200Hz에서 측정된 고정밀 GPS-INS 데이터(수평 정밀도 RMS 1.5m)는 정확한 비행 경로 재구성 가능하다.
• 1mm 해상도로 20Hz에서 측정된 레이저 고도계 데이터는 정밀한 지형 고도 측정을 가능하게 한다.
• 20Hz에서 192만 픽셀 해상도의 정면 하향 RGB 카메라 영상이 다양한 지형을 일관되게 촬영하였다.
• NAIP 데이터에서 유도된 지도 기반 정렬 영상은 전체 비행 경로를 커버하며 강력한 VPR 벤치마킹을 가능하게 하였다.
• 완전한 프레임 정렬 메타데이터가 제공되어 시각적 오도메트리, 영상 정렬 및 지형 기반 항법과 같은 고급 항법 작업을 지원한다.