[論文レビュー] University-1652: A Multi-view Multi-source Benchmark for Drone-based Geo-localization

Zhedong Zheng, Yunchao Wei+1 more|arXiv (Cornell University)|Feb 27, 2020

Advanced Neural Network Applications参考文献 41被引用数 9

ひとこと要約

本稿では、合成ドローン画像、衛星画像、地上画像を備えた、1,652棟の大学施設を含む、ドローンベースの地理的局所化のための最初のマルチビュー・マルチソースベンチマークであるUniversity-1652を紹介する。マルチブランチCNNベースラインにより、ビューポイント不変特徴を学習し、新しいタスク（ドローンビューのターゲット局所化とドローンナビゲーション）を可能にした。このベースラインは、強力な汎化性能を示し、新旧のベンチマークで最先端の性能を達成した。

ABSTRACT

We consider the problem of cross-view geo-localization. The primary challenge of this task is to learn the robust feature against large viewpoint changes. Existing benchmarks can help, but are limited in the number of viewpoints. Image pairs, containing two viewpoints, e.g., satellite and ground, are usually provided, which may compromise the feature learning. Besides phone cameras and satellites, in this paper, we argue that drones could serve as the third platform to deal with the geo-localization problem. In contrast to the traditional ground-view images, drone-view images meet fewer obstacles, e.g., trees, and could provide a comprehensive view when flying around the target place. To verify the effectiveness of the drone platform, we introduce a new multi-view multi-source benchmark for drone-based geo-localization, named University-1652. University-1652 contains data from three platforms, i.e., synthetic drones, satellites and ground cameras of 1,652 university buildings around the world. To our knowledge, University-1652 is the first drone-based geo-localization dataset and enables two new tasks, i.e., drone-view target localization and drone navigation. As the name implies, drone-view target localization intends to predict the location of the target place via drone-view images. On the other hand, given a satellite-view query image, drone navigation is to drive the drone to the area of interest in the query. We use this dataset to analyze a variety of off-the-shelf CNN features and propose a strong CNN baseline on this challenging dataset. The experiments show that University-1652 helps the model to learn the viewpoint-invariant features and also has good generalization ability in the real-world scenario.

研究の動機と目的

• 大きなビューポイント変動下でのクロスビュー地理的局所化の課題に取り組むこと、特に訓練用ビューが限られている状況において。
• 従来の地上および衛星ビューと比較して、ターゲット位置を包括的かつ障害物のないビューで提供する、新たなデータプラットフォーム「ドローン」を導入すること。
• 複数のビュー（ドローン、衛星、地上）をサポートし、標準的な画像検索を越えた新しいタスクを可能にするベンチマークを開発すること。
• 3つの異なる画像ソース間でビューポイント不変特徴を学習するスケーラブルなマルチソースCNNベースラインを提案すること。
• 微調整なしで、Oxford や Paris といった標準ベンチマークにおいて学習済み特徴の汎化能力を実証すること。

提案手法

• Google Earthの3Dエンジンを用いて、建物ごとに54枚のドローンビュー画像を、さまざまな高度と角度で合成し、実際のドローン飛行経路を模擬する。
• ストリートレベルのカメラ（例：Googleストリートビュー）から地上画像を収集し、公共のソースから衛星画像を入手することで、マルチソースデータセットを構築する。
• 各ブランチが異なるソース（ドローン、衛星、地上）の画像を処理する、共有特徴抽出と三重損失を備えたマルチブランチシアンジェイスタイルCNNを設計する。
• 異なるビューとソース間でクラス内距離を最小化し、クラス間距離を最大化するために、三重損失を用いてモデルを訓練する。
• 2つの新しいタスクを可能にする：(1) ドローンビューのターゲット局所化（ドローン画像から正しい建物を検索する）、(2) ドローンナビゲーション（衛星クエリを用いてターゲットへドローンを誘導する）。
• 標準的な指標（R@1、R@5、R@10）を用いて、University-1652および二ビューベンチマークCVUSAの両方でモデルを評価し、検索性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 合成ドローンビュー画像は、地上ビューと衛星ビューの間の視覚的ギャップを地理的局所化タスクで効果的に埋め合わせることができるか？
• RQ2 ドローン、衛星、地上の3つのソースを統合することで、二ソースベンチマークと比較して、ビューポイント不変特徴の学習が向上するか？
• RQ3 提案されたマルチブランチCNNベースラインは、微調整なしで、Oxford や Paris のようなリアルワールドの小規模データセットに良好に汎化できるか？
• RQ4 画像検索のみを用いて、ドローンビューのターゲット局所化やドローンナビゲーションといった新規タスクを効果的に可能にするか？
• RQ5 トランスファー学習の場面において、異なるソース（例：地上 vs. 衛星 vs. ドローン）から学習された特徴の相対的な性能はどのようになるか？

主な発見

• 提案されたマルチブランチCNNベースラインは、VGG-16バックボーンを用いてCVUSAベンチマークでR@1が43.91%を達成し、CVM-Net や Orientation よりも優れた性能を示した。
• University-1652で学習したモデルは、小規模ベンチマークに良好に汎化した：地上ビュー特徴ブランチ（$\mathcal{F}_{g}$）はParisデータセットで6.77%のAPを示すImageNet事前学習を上回り、28.77%のAPを達成した。
• ドローンビュー特徴ブランチ（$\mathcal{F}_{s}$）はUniversity-1652で優れた性能を示し、合成ドローンデータがビューポイント不変表現を効果的に捉えていることを示した。
• University-1652からROxfordおよびRParisデータセットへのトランスファーラーニングでは、中程度（M）および困難（H）な設定で両方の精度が向上し、$\mathcal{F}_{g}$はRParis (M) で24.24%、(H) で10.29%のAPを達成した。
• モデルはスケーラビリティと柔軟性を示し、アーキテクチャの大幅な見直しを伴わずに、ブランチ数を2つから3つに容易に拡張可能であった。
• ベースラインはCVUSAで91.78%のR@Top1を達成し、データオーガニゼーションや特徴アンサンブル技術なしでも強力な性能を示した。