[論文レビュー] Lending Orientation to Neural Networks for Cross-view Geo-localization

Liu Liu, Hongdong Li|arXiv (Cornell University)|Mar 29, 2019

Advanced Image and Video Retrieval Techniques参考文献 27被引用数 11

ひとこと要約

本稿では、1ピクセルあたりの方向を追加の特徴マップとして明示的に符号化することで、クロスビュー地理的局所化を向上させるSiamese畳み込みニューラルネットワーク、OriCNNを提案する。方向情報を取り入れることで、25.8%のトップ1リcallを達成し、従来手法を上回る最先端の性能を発揮するとともに、パラメータ数を1/5に抑えることに成功した。

ABSTRACT

This paper studies image-based geo-localization (IBL) problem using ground-to-aerial cross-view matching. The goal is to predict the spatial location of a ground-level query image by matching it to a large geotagged aerial image database (e.g., satellite imagery). This is a challenging task due to the drastic differences in their viewpoints and visual appearances. Existing deep learning methods for this problem have been focused on maximizing feature similarity between spatially close-by image pairs, while minimizing other images pairs which are far apart. They do so by deep feature embedding based on visual appearance in those ground-and-aerial images. However, in everyday life, humans commonly use {\em orientation} information as an important cue for the task of spatial localization. Inspired by this insight, this paper proposes a novel method which endows deep neural networks with the `commonsense' of orientation. Given a ground-level spherical panoramic image as query input (and a large georeferenced satellite image database), we design a Siamese network which explicitly encodes the orientation (i.e., spherical directions) of each pixel of the images. Our method significantly boosts the discriminative power of the learned deep features, leading to a much higher recall and precision outperforming all previous methods. Our network is also more compact using only 1/5th number of parameters than a previously best-performing network. To evaluate the generalization of our method, we also created a large-scale cross-view localization benchmark containing 100K geotagged ground-aerial pairs covering a city. Our codes and datasets are available at \url{https://github.com/Liumouliu/OriCNN}.

研究の動機と目的

• 深層学習ベースのアプローチでしばしば無視されがちな、方向を幾何的ヒントとして活用することで、画像ベースの地理的局所化を改善すること。
• 視点や外観の大幅な違いがあるにもかかわらず、地上のパノラマ画像と地理的タグ付き空中画像をマッチングする課題に対処すること。
• 方向に敏感な特徴学習を通じて特徴の判別能を高める、コンactでプラグイン互換性のある方法を開発すること。
• 都市規模の地理的局所化をベンチマーク化するため、大規模かつ完全にGPSタグ付けされたクロスビューデータセット（CVACT）を構築すること。
• 幾何的事前知識（例：方向）が、視覚タスクにおける深層ネットワークの一般化性能を顕著に向上させられることを示すこと。

提案手法

• 本手法は、パノラマ画像の各ピクセルの球面座標から得られる1ピクセルあたりの方向マップを導出し、CNNの追加入力チャネルとして用いる。
• コントラスト損失を用いて、正例ペアの類似度を最大化し、負例ペアの類似度を最小化するように、視覚的外観と方向幾何の両方の特徴を共同で埋め込むSiamese CNNアーキテクチャを訓練する。
• 方向マップは、パノラマ画像における各ピクセルの方位角を用いて計算され、360°の全視野にわたる方向的文脈を提供する。
• ネットワークは、地上から空中への画像ペアの大量データセット上でエンドツーエンドに訓練され、方向マップが別々の入力ストリームとして組み込まれる。
• 本アプローチはモジュラーであり、幾何的認識を要する他の視覚タスク向けに、既存の深層学習パイプラインに容易に統合可能である。
• 外観と方向に基づく監視を組み合わせた新しい損失関数により、特徴のコンパクト性と判別能が向上する。

実験結果

リサーチクエスチョン

• RQ1 1ピクセルあたりの方向の明示的符号化が、クロスビュー地理的局所化における深層ニューラルネットワークの性能向上に寄与するか？
• RQ2 方向のような幾何的ヒントを組み込むことで、学習された深層特徴の判別能はどのように変化するか？
• RQ3 軽量な方向マップを用いることで、モデルの複雑さを増さずに性能向上を達成できるか？
• RQ4 本手法は、大規模な都市規模の地理的局所化タスクにどのように一般化するか？
• RQ5 方向情報は、地上画像と衛星画像のマッチングにおける曖昧さをどの程度低減するか？

主な発見

• 提案手法OriCNNは、CVACTベンチマークで25.8%のトップ1リcallを達成し、前回の最先端手法CVM-netよりも15.84%の向上を示した。
• 方向符号化なしのベースラインと比較して、トップ1リcallが25%以上向上しており、幾何的ヒントによる強力な判別能の向上を実証した。
• 前回の最良性能を示したネットワークと比較して、パラメータ数を1/5に抑えることに成功し、高い効率性を示した。
• CVACTデータセットは、キャンベラの300平方マイルにわたる92,802のテスト画像ペアを含み、CVUSAよりもはるかに大規模かつ現実的である。
• データセットの分析から、現在の手法では19.90%のクエリしか5メートル以内に局所化できていないことが判明し、改善の必要性と課題の難易度を示した。
• アブレーションスタディにより、外観特徴を固定した状態でも、方向符号化そのものが顕著な性能向上に寄与することが確認された。