[論文レビュー] Localizing and Orienting Street Views Using Overhead Imagery

Nam Vo|arXiv (Cornell University)|Jul 30, 2016

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 21

ひとこと要約

本論文は、上空（衛星）画像を用いてストリートレベルの画像を局所化および方向特定するためのディープラーニングフレームワークを提案する。新たな損失関数（DBL）と明示的な方向指定の監視を導入し、クロスビュー照合の精度を向上させた。本研究は、米国11都市のストリートビューと上空画像のペアを含む新規100万枚の画像データセットにおいて、ベースラインのシアンプスネットワーク比で約2.5倍高い精度を達成した。

ABSTRACT

In this paper we aim to determine the location and orientation of a ground-level query image by matching to a reference database of overhead (e.g. satellite) images. For this task we collect a new dataset with one million pairs of street view and overhead images sampled from eleven U.S. cities. We explore several deep CNN architectures for cross-domain matching -- Classification, Hybrid, Siamese, and Triplet networks. Classification and Hybrid architectures are accurate but slow since they allow only partial feature precomputation. We propose a new loss function which significantly improves the accuracy of Siamese and Triplet embedding networks while maintaining their applicability to large-scale retrieval tasks like image geolocalization. This image matching task is challenging not just because of the dramatic viewpoint difference between ground-level and overhead imagery but because the orientation (i.e. azimuth) of the street views is unknown making correspondence even more difficult. We examine several mechanisms to match in spite of this -- training for rotation invariance, sampling possible rotations at query time, and explicitly predicting relative rotation of ground and overhead images with our deep networks. It turns out that explicit orientation supervision also improves location prediction accuracy. Our best performing architectures are roughly 2.5 times as accurate as the commonly used Siamese network baseline.

研究の動機と目的

• ストリートレベルのストリートビュー画像を上空の衛星画像を用いて局所化および方向特定する課題に対処すること。
• 極端な視点差異と未知のカメラ方位の下でも、クロスドメイン画像照合の精度を向上させること。
• 大規模な画像ジオローケーションに適用可能なスケーラブルなディープラーニングフレームワークを開発すること。
• 回転不変性と明示的な方向回帰が表現学習に与える影響を調査すること。
• クロスビュー地図認識分野の前進を支援するため、100万枚のストリートビューと上空画像ペアの新規大規模データセットを公開すること。

提案手法

• クロスビュー照合のためのシアンプスネットワークおよびトリプレットネットワークの訓練を向上させるために、新規の距離に基づくロジスティック（DBL）損失レイヤーを提案する。
• 地上画像と上空画像間の相対的回転を予測する明示的な方向回帰（OR）を導入し、方向特定と局所化の両方の精度を向上させる。
• トレーニング中に入力をランダムに回転させることで、回転不変性（RI）トレーニングを実装する。
• 推論時に16方向の特徴平均化（avg16）を用い、完全な推論コストをかけずに複数の回転されたクロップをシミュレートする。
• ミニバッチ内での包括的トリプレットサンプリング（eDBL）を適用し、トレーニングの効率と収束性を向上させる。
• 新規の大規模データセット上で、分類、ハイブリッド、シアンプス、トリプレットネットワークの複数のアーキテクチャをトレーニングおよび評価する。

実験結果

リサーチクエスチョン

• RQ1 新規の損失関数を用いることで、シアンプスネットワークおよびトリプレットネットワークのクロスビュー地図認識における性能を著しく向上させることができるか？
• RQ2 トレーニング段階で明示的な方向回帰を実施することで、方向予測精度と局所化精度の両方が向上するか？
• RQ3 未知の方位角に対処する際、回転不変性トレーニングとテスト時のデータオーグメンテーションの性能はどのように比較されるか？
• RQ4 表現学習において、回転不変性と識別力の最適なトレードオフは何か？
• RQ5 ストリートビューと上空画像ペアの100万枚規模の公開可能な大規模データセットは、クロスビュー地図認識分野における進展を加速させることができるか？

主な発見

• 提案されたDBL損失関数は、シアンプスネットワークおよびトリプレットネットワークの精度を著しく向上させ、標準のシアンプスベースライン比で約2.5倍高い精度を達成した。
• 明示的な方向回帰（OR）は、360°回転不変性ネットワークにおいて相対的に30%の性能向上をもたらしたが、90°RIネットワークには効果がなかった。
• 多方向特徴平均化（avg16）は、16枚の回転クロップをテストした場合と同等の性能を達成し、推論コストを削減した。
• 包括的トリプレットサンプリング（eDBL）により、収束が高速化され、標準トレーニングに比べて150,000イテレーションで達成する性能を30,000イテレーションで達成できた。
• 360°RI + OR + avg16トリプレットネットワークは最良のランク付け性能を示し、局所化精度と方向予測（平均誤差17°）が向上した。
• 米国11都市のストリートビューと上空画像ペアを含む100万枚規模の新規データセットを公開し、今後のクロスビュー地図認識研究を支援した。