[논문 리뷰] UAV-VisLoc: A Large-scale Dataset for UAV Visual Localization

Wenjia Xu, Yaxuan Yao외 5명|arXiv (Cornell University)|2024. 05. 20.

Robotics and Sensor-Based Localization인용 수 8

한 줄 요약

이 논문은 ground-down 드론 이미지와 대응하는 orthorectified 위성 맵을 매칭하여 GNSS 없이도 정확한 로컬라이제이션을 가능하게 하는 대규모 UAV 시각적 로컬라이제이션 데이터셋인 UAV-VisLoc을 소개합니다. 다양한 씬, 고도, 비행 방향을 제공하여 로컬라이제이션 모델의 학습 및 테스트를 지원합니다.

ABSTRACT

The application of unmanned aerial vehicles (UAV) has been widely extended recently. It is crucial to ensure accurate latitude and longitude coordinates for UAVs, especially when the global navigation satellite systems (GNSS) are disrupted and unreliable. Existing visual localization methods achieve autonomous visual localization without error accumulation by matching the ground-down view image of UAV with the ortho satellite maps. However, collecting UAV ground-down view images across diverse locations is costly, leading to a scarcity of large-scale datasets for real-world scenarios. Existing datasets for UAV visual localization are often limited to small geographic areas or are focused only on urban regions with distinct textures. To address this, we define the UAV visual localization task by determining the UAV's real position coordinates on a large-scale satellite map based on the captured ground-down view. In this paper, we present a large-scale dataset, UAV-VisLoc, to facilitate the UAV visual localization task. This dataset comprises images from diverse drones across 11 locations in China, capturing a range of topographical features. The dataset features images from fixed-wing drones and multi-terrain drones, captured at different altitudes and orientations. Our dataset includes 6,742 drone images and 11 satellite maps, with metadata such as latitude, longitude, altitude, and capture date. Our dataset is tailored to support both the training and testing of models by providing a diverse and extensive data.

연구 동기 및 목표

• GNSS가 사용 불가한 상황에서 Ground-down 이미지로부터 대규모 위성 맵에서 UAV의 실제 좌표를 결정하는 UAV 시각적 로컬라이제이션 태스크 정의.
• 다양하고 대규모의 데이터셋을 제공하여 다중 지형, 다중 고도, 다중 헤딩 시나리오에서 시각적 로컬라이제이션 모델을 학습하고 평가.
• 모델 일반화를 강화하기 위해 고정익 및 다중 지형 UAV를 포함하여 기존 데이터셋을 보완.
• 견고한 벤치마킹을 지원하기 위해 메타데이터(위도, 경도, 고도, 촬영일, 헤딩) 및 위성 맵 커버리지를 제공하시오.

제안 방법

• 중국 내 11개 위치에서 고정익 및 다중 지형 UAV로 400~2,000 미터 고도에서 드론 이미지를 수집.
• UAV 비행 구간에 대응하는 0.3 m 해상도의 11개 구글 어스 위성 맵을 확보.
• 각 드론 이미지에 중심 좌표, 높이, 날짜, 헤딩 각도(Phi)를 주석 처리하고 위성 맵 좌표 범위를 제공.
• 지상 뷰와 위성 맵을 매칭하여 로컬라이제이션 및 내비게이션 작업을 위한 데이터 파이프라인 정의.
• 시각 로컬라이제이션 모델의 학습/테스트를 위한 데이터셋 구조 및 잠재적 전처리 단계 설명.

Figure 1: The dataset collecting process. The red point in the coordinate system represents the projection of the drone’s current location on the ground, i.e., the center point of the image taken by the drone. The yellow points represent the satellite map boundaries of the entire flight range.

실험 결과

연구 질문

• RQ1 GNSS 없이 시각적 매칭을 사용하여 대규모 위성 맵에서 지상 하향 UAV 이미지를 신뢰성 있게 로컬라이즈할 수 있는가?
• RQ2 고도, 헤딩, 지형의 다양성은 로컬라이제이션 성능에 어떤 영향을 미치는가?
• RQ3 고정익 및 다중 지형 데이터를 포함하는 것이 시각 로컬라이제이션 방법의 일반화를 개선하는가?
• RQ4 로컬라이제이션 모델의 견고한 학습 및 평가를 지원하기 위해 어떤 메타데이터가 필수적인가?

주요 결과

• UAV-VisLoc 데이터셋은 다양한 지형에서 6,742장의 드론 이미지와 11개의 위성 맵을 포함합니다.
• 데이터셋은 각 드론 이미지의 위도, 경도, 고도, 촬영 날짜, 헤딩 각도 등의 상세 메타데이터를 포함합니다.
• 위성 맵은 0.3 m 해상도의 Google Earth에서 제공되며 UAV 비행 구간을 커버합니다.
• 이미지는 다양한 높이(400–2,000 m)와 방향으로 다중 도메인 시나리오를 포착합니다.
• 데이터셋은 지상 뷰와 위성 뷰를 정렬하여 UAV 시각 로컬라이제이션 작업의 학습과 테스트를 모두 지원합니다.

Figure 2: An example of drone images and satellite map. The red dots in satellite map represent the center points of drone images. The satellite map encompasses various terrains such as cities, towns, farms, and rivers. We also show the drone images of these terrains.