[論文レビュー] UAV-VisLoc: A Large-scale Dataset for UAV Visual Localization

Wenjia Xu, Yaxuan Yao+5 more|arXiv (Cornell University)|May 20, 2024

Robotics and Sensor-Based Localization被引用数 8

ひとこと要約

この論文は UAV-VisLoc という大規模な UAV 視覚定位データセットを紹介します。地上からのドローン画像と対応する正射補正済みの衛星地図を組み合わせることで GNSS なしでの正確な位置推定を可能にします。多様なシーン、高度、方位を提供し、定位モデルの訓練と評価を支援します。

ABSTRACT

The application of unmanned aerial vehicles (UAV) has been widely extended recently. It is crucial to ensure accurate latitude and longitude coordinates for UAVs, especially when the global navigation satellite systems (GNSS) are disrupted and unreliable. Existing visual localization methods achieve autonomous visual localization without error accumulation by matching the ground-down view image of UAV with the ortho satellite maps. However, collecting UAV ground-down view images across diverse locations is costly, leading to a scarcity of large-scale datasets for real-world scenarios. Existing datasets for UAV visual localization are often limited to small geographic areas or are focused only on urban regions with distinct textures. To address this, we define the UAV visual localization task by determining the UAV's real position coordinates on a large-scale satellite map based on the captured ground-down view. In this paper, we present a large-scale dataset, UAV-VisLoc, to facilitate the UAV visual localization task. This dataset comprises images from diverse drones across 11 locations in China, capturing a range of topographical features. The dataset features images from fixed-wing drones and multi-terrain drones, captured at different altitudes and orientations. Our dataset includes 6,742 drone images and 11 satellite maps, with metadata such as latitude, longitude, altitude, and capture date. Our dataset is tailored to support both the training and testing of models by providing a diverse and extensive data.

研究の動機と目的

• GNSS が利用できない場合、地上からの画像から大規模な衛星地図上の UAV の実際の座標を決定するという UAV 視覚定位タスクを定義する。
• マルチ地形・マルチ高度・マルチ方位のシナリオで視覚定位モデルを訓練・評価するための多様で大規模なデータセットを提供する。
• 固定翼機およびマルチ地形UAVを含めてモデルの一般化を強化することで、既存データセットを補完する。
• メタデータ（緯度、経度、高度、キャプチャ日、方位）と衛星地図のカバレッジを提供し、堅牢なベンチマークを支援する。

提案手法

• 中国の11拠点で、400〜2,000メートルの高度で固定翼機およびマルチ地形UAVからドローン画像を収集する。
• UAVの飛行範囲に対応する解像度0.3 mのGoogle Earth衛星地図を11件取得する。
• 各ドローン画像に中心座標、高さ、日付、方位角（Phi）を注釈し、衛星地図の座標範囲を提供する。
• 定位とナビゲーションタスクのための地上ビューと衛星地図を照合するデータパイプラインを定義する。
• データセットの構造と、視覚定位モデルの訓練/評価のための前処理の手順を説明する。

Figure 1: The dataset collecting process. The red point in the coordinate system represents the projection of the drone’s current location on the ground, i.e., the center point of the image taken by the drone. The yellow points represent the satellite map boundaries of the entire flight range.

実験結果

リサーチクエスチョン

• RQ1 GNSS を用いずに視覚的マッチングで大規模な衛星地図上の地上ドローン画像を信頼性高く定位できるか。
• RQ2 高度・方位・地形の多様性が定位性能にどのように影響するか。
• RQ3 固定翼機およびマルチ地形データの包含は視覚定位手法の一般化を改善するか。
• RQ4 ロバストな訓練と評価を支援するために必要なメタデータは何か。

主な発見

• The UAV-VisLoc dataset contains 6,742 drone images and 11 satellite maps across diverse terrains.
• データセットには各ドローン画像の緯度、経度、高度、キャプチャ日、方位角などの詳細なメタデータが含まれる。
• Satellite maps are sourced from Google Earth with 0.3 m resolution and cover the UAV flight ranges.
• 衛星地図は Google Earth から入手され、解像度は 0.3 m、UAV の飛行範囲をカバーする。
• Images span different heights (400–2,000 m) and orientations to capture multi-domain scenarios.
• 画像は異なる高度（400–2,000 m）と方位をカバーして、マルチドメインのシナリオを捉える。
• The dataset supports both training and testing for UAV visual localization tasks by providing aligned ground and satellite views.
• 地上ビューと衛星ビューを整列させて提供することで、UAV 視覚定位タスクの訓練およびテストの両方をサポートする。

Figure 2: An example of drone images and satellite map. The red dots in satellite map represent the center points of drone images. The satellite map encompasses various terrains such as cities, towns, farms, and rivers. We also show the drone images of these terrains.