[論文レビュー] VIGOR: Cross-View Image Geo-localization beyond One-to-one Retrieval

Sijie Zhu, Taojiannan Yang+1 more|arXiv (Cornell University)|Nov 24, 2020

Advanced Image and Video Retrieval Techniques参考文献 27被引用数 8

ひとこと要約

本稿では、クエリ画像とリファレンス画像が完全に一致しない現実的な条件下でのクロスビュー画像ジオロケーションを対象とした大規模ベンチマーク、VIGORを紹介する。本稿は、複数の準正のリファレンス画像を活用するための新規IOUベースのハイブリッド損失を用いた、エンドツーエンドで粗いから細かい段階へのフレームワークを提案し、標準的なリtrievalを上回るメートル単位のロケーション精度を顕著に向上させた。

ABSTRACT

Cross-view image geo-localization aims to determine the locations of street-view query images by matching with GPS-tagged reference images from aerial view. Recent works have achieved surprisingly high retrieval accuracy on city-scale datasets. However, these results rely on the assumption that there exists a reference image exactly centered at the location of any query image, which is not applicable for practical scenarios. In this paper, we redefine this problem with a more realistic assumption that the query image can be arbitrary in the area of interest and the reference images are captured before the queries emerge. This assumption breaks the one-to-one retrieval setting of existing datasets as the queries and reference images are not perfectly aligned pairs, and there may be multiple reference images covering one query location. To bridge the gap between this realistic setting and existing datasets, we propose a new large-scale benchmark -- VIGOR -- for cross-View Image Geo-localization beyond One-to-one Retrieval. We benchmark existing state-of-the-art methods and propose a novel end-to-end framework to localize the query in a coarse-to-fine manner. Apart from the image-level retrieval accuracy, we also evaluate the localization accuracy in terms of the actual distance (meters) using the raw GPS data. Extensive experiments are conducted under different application scenarios to validate the effectiveness of the proposed method. The results indicate that cross-view geo-localization in this realistic setting is still challenging, fostering new research in this direction. Our dataset and code will be released at \url{https://github.com/Jeff-Zilence/VIGOR}

研究の動機と目的

• 既存の1対1の画像マッチングベンチマークと、クエリ画像とリファレンス画像が完全に一致しない現実のジオロケーション状況との間のギャップを埋める。
• 任意のクエリ位置と事前に撮影されたリファレンス画像をサポートする、より実用的なベンチマークを構築し、現実の展開条件を反映する。
• 画像レベルのリtrieval精度に加え、生のGPSデータを用いたメートル単位の実際のロケーション精度の評価を可能にする。
• 標準的なリtrievalを超えるロケーション精度を向上させる、新規の共同リtrievalおよびキャリブレーションフレームワークを提案する。
• ノイズのあるGPS条件における手法のロバストネスを検証し、現実のナビゲーションの課題を模擬する。

提案手法

• 4つの米国都市からなる、90,618枚の航空写真と238,696枚のストリートビュー画像を含む大規模なデータセットVIGORを提案。非一致するクエリ・リファレンスペアを現実的かつリアルに再現している。
• 2段階のエンドツーエンドフレームワークを設計：まず特徴マッチングにより関連性の高い航空写真を検索し、次にその画像内でのオフセットを回帰することで、細粒度の高いロケーションを実現する。
• リtrievalとオフセット予測の両方の監視を統合したIOUベースのハイブリッド損失を導入。トレーニング中に準正のリファレンス画像を効果的に活用できる。
• 10×10グリッド上での回帰ベースのオフセット予測を採用。分類ベースのアプローチに比べ、メートル単位の精度で優れた性能を発揮した。
• トレーニングの安定性を向上させるために、前処理段階でサンプルバランスを実施。航空写真ごとに正例を均等に分布させる。
• ノイズのあるGPS条件を模擬し、最大±100mのオフセットを設定し、局所化されたサブ領域に制限した検索を実施。実用的なナビゲーション用途の有効性を示した。

実験結果

リサーチクエスチョン

• RQ1 クエリ画像とリファレンス画像が完全に一致しない現実的状況下でも、クロスビュージオロケーションは高い精度を達成できるか？
• RQ2 共同リtrievalおよびキャリブレーションフレームワークは、画像レベルのリtrievalを上回るロケーション精度を向上させることができるか？
• RQ3 複数の準正のリファレンス画像を活用するハイブリッド損失は、モデルの一般化性能およびロケーション精度を向上させるか？
• RQ4 ノイズのあるGPS条件下で、本手法は生のGPS信号に比べてどの程度ロケーション誤差を低減できるか？
• RQ5 オフセット予測手法の選択（回帰 vs. 分類）は、細粒度のロケーション精度にどのような影響を与えるか？

主な発見

• 同じエリア設定において、本手法はトップ1リtrieval精度が41.1%、トップ5精度が65.9%を達成。200mの検索範囲内で10メートルレベルのロケーション精度は37.7%を記録した。
• 回帰ベースのオフセット予測は、リtrievalオンリーや分類ベースの手法に比べ、10メートルレベルのロケーション精度をほぼ2倍に向上させた。
• ハイブリッドIOUベースの損失は、準正のサンプルを効果的に活用することで、特に非一致状況下で顕著に性能を向上させた。
• 200mの検索範囲とノイズのあるGPS条件下でも、トップ1リtrieval精度が60.9%、トップ5が90.6%に達し、生のGPS信号を大きく上回った。
• 同じエリア評価において、30メートルレベルのロケーション精度が70%以上を達成し、補助ナビゲーション分野における強力な実用的ポentialを示した。
• 航空写真1枚あたり正例を3つに設定したサンプルバランスは、2つに設定した場合に比べわずかに優れた性能を示したが、すべての設定で一貫した改善が得られた。