[論文レビュー] Optimal Feature Transport for Cross-View Image Geo-Localization

Yujiao Shi, Xin Yu+3 more|arXiv (Cornell University)|Jul 11, 2019

Advanced Image and Video Retrieval Techniques参考文献 32被引用数 12

ひとこと要約

本稿では、エントロピー正則化最適輸送を用いてドメイン固有の輸送行列を学習することで、地上視点と空中視点の画像間の特徴を明示的に整列する微分可能なニューラルネットワークモジュールであるCross-View Feature Transport (CVFT) を提案する。空間的レイアウトを保持しドメインギャップを低減することで、CVUSA においてトップ1リCALLを 61.43%、トップ10リCALLを 90.49% まで向上させ、従来の最先端手法を顕著に上回る性能を達成した。

ABSTRACT

This paper addresses the problem of cross-view image geo-localization, where the geographic location of a ground-level street-view query image is estimated by matching it against a large scale aerial map (e.g., a high-resolution satellite image). State-of-the-art deep-learning based methods tackle this problem as deep metric learning which aims to learn global feature representations of the scene seen by the two different views. Despite promising results are obtained by such deep metric learning methods, they, however, fail to exploit a crucial cue relevant for localization, namely, the spatial layout of local features. Moreover, little attention is paid to the obvious domain gap (between aerial view and ground view) in the context of cross-view localization. This paper proposes a novel Cross-View Feature Transport (CVFT) technique to explicitly establish cross-view domain transfer that facilitates feature alignment between ground and aerial images. Specifically, we implement the CVFT as network layers, which transports features from one domain to the other, leading to more meaningful feature similarity comparison. Our model is differentiable and can be learned end-to-end. Experiments on large-scale datasets have demonstrated that our method has remarkably boosted the state-of-the-art cross-view localization performance, e.g., on the CVUSA dataset, with significant improvements for top-1 recall from 40.79% to 61.43%, and for top-10 from 76.36% to 90.49%. We expect the key insight of the paper (i.e., explicitly handling domain difference via domain transport) will prove to be useful for other similar problems in computer vision as well.

研究の動機と目的

• 地上視点と空中視点の間のドメインギャップを無視し、空間的レイアウトを活用しない従来の深層メトリック学習手法の限界を是正すること。
• 特徴の学習可能な輸送機構を通じて、地上視点と空中視点の画像間のドメインシフトを明示的にモデル化すること。
• クロスビュー照合中に局所特徴の空間的構造を保持することで、局所化精度を向上させること。
• 既存のシアンセ型CNNアーキテクチャに統合可能な微分可能でエンドツーエンドで学習可能なモジュールを開発すること。
• 実際の状況（方向のずれを含む）下で大規模なベンチマークにおいて優れた性能を示すことを実証すること。

提案手法

• 本手法は、地上画像と空中画像から独立して特徴を抽出するために、2本のブランチを持つシアンセ型CNNを採用する。
• 特徴マップを1つのドメイン（例：地上）から別のドメイン（例：空中）に変換するため、Cross-View Feature Transport (CVFT) モジュールを導入する。
• エントロピー正則化最適輸送問題に微分可能なSinkhorn-Knoppアルゴリズムを適用することで、輸送行列を最適化し、エンドツーエンド学習を可能にする。
• CVFTレイヤーは空間的対応に基づいて特徴を再配置し、特徴空間内で整列させることで類似度マッチングを向上させる。
• 正例ペア間の距離を最小化し、負例ペア間の距離を最大化するため、コントラスト型損失を用いてネットワーク全体をエンドツーエンドで学習する。
• 輸送された特徴では空間的レイアウト情報が保持されており、局所化に向けた特徴の識別性が向上する。

実験結果

リサーチクエスチョン

• RQ1 特徴輸送による明示的なドメイン適応は、標準的な深層メトリック学習を上回るクロスビュー地図局所化を実現できるか？
• RQ2 顕著な視点差や外観差がある状況下で、特徴に空間的レイアウトを保持することは、局所化精度にどのように影響するか？
• RQ3 提案されたCVFTモジュールは、地上視点と空中視点の画像間のドメインギャップをどの程度低減できるか？
• RQ4 方向のずれがあるクエリ画像に対して、本手法はどの程度のロバストネスを示すか？これは現実世界の一般的な課題である。
• RQ5 CVFTフレームワークは、大規模で都市レベルの地図局所化タスクに一般化可能か？

主な発見

• CVUSA データセットでは、本手法がトップ1リCALLを 61.43% まで向上させ、前回の最先端手法比で20.64%の絶対的改善を達成した。
• CVUSA においてトップ10リCALLは 90.49% に達し、2番目に優れた手法比で14.09%の改善を示した。
• 大規模なCVACT_testデータセットでは、本手法が2番目に優れた手法比でトップ1リCALLで28.87%の改善を示し、現実の都市規模の局所化において強力な性能を発揮した。
• 本手法は±20°の方向ずれがある状況下でも高い性能を維持し、方向が整えられたデータでテストされた最先端手法ですら、本手法に劣る結果となった。
• 定性的な結果では、住宅地や繰り返し構造を持つ複雑な都市交差点など、多様なクエリ画像を正常に局所化できていることが示された。
• 可視化により、CVFTモジュールがドメイン間で特徴マップを効果的に整列させていることが確認された。特に、輸送された地上特徴が空間的レイアウトと活性化パターンの面で、対応する空中特徴とよく一致している。