[論文レビュー] Cross-View Image Matching for Geo-localization in Urban Environments

Yicong Tian, Chen Chen+1 more|arXiv (Cornell University)|Mar 22, 2017

Advanced Image and Video Retrieval Techniques被引用数 8

ひとこと要約

本論文は、Faster R-CNNを用いた検出とシアンペアネットワークを用いた特徴学習により、ストリートビューとアバウトビューの画像間で建物をマッチングすることで、クロスビュー画像の地理的局所化を実現するディーブラーニングフレームワークを提案する。複数の最近傍を統合するためにドミナントセットを採用することで、ベースライン手法を上回り、新しく導入されたクロスビューデータセットにおいて未学習の都市に対しても一般化性能を示す。

ABSTRACT

In this paper, we address the problem of cross-view image geo-localization. Specifically, we aim to estimate the GPS location of a query street view image by finding the matching images in a reference database of geo-tagged bird's eye view images, or vice versa. To this end, we present a new framework for cross-view image geo-localization by taking advantage of the tremendous success of deep convolutional neural networks (CNNs) in image classification and object detection. First, we employ the Faster R-CNN to detect buildings in the query and reference images. Next, for each building in the query image, we retrieve the $k$ nearest neighbors from the reference buildings using a Siamese network trained on both positive matching image pairs and negative pairs. To find the correct NN for each query building, we develop an efficient multiple nearest neighbors matching method based on dominant sets. We evaluate the proposed framework on a new dataset that consists of pairs of street view and bird's eye view images. Experimental results show that the proposed method achieves better geo-localization accuracy than other approaches and is able to generalize to images at unseen locations.

研究の動機と目的

• 都市環境におけるストリートビュー画像を、鳥瞰図の画像データベースを用いて地理的局所化すること、逆に鳥瞰図を用いてストリートビューを地理的局所化することに挑戦する。
• 視点の違い、照明、季節的変化に起因するクロスビュー画像間の視覚的・幾何的乖離を克服すること。
• 単一の最近傍マッチングを超えて、複数の最近傍を統合することでグローバルな一貫性を強制することで、地理的局所化の正確性を向上させること。
• 特徴空間におけるドミナントセットを用いて、効率的かつ頑健な複数最近傍マッチング手法を開発すること。
• 未学習の都市への一般化を評価し、学習された表現の転送可能性を示すこと。

提案手法

• Faster R-CNNを用いて、クエリ画像および参照画像の両方で建物を検出することで、意味的・構造的な整合性を確保する。
• ペairedな正例および負例の建物画像クリップを用いて、シアンペア畳み込みニューラルネットワークを学習させ、共有で判別力のある特徴空間を学習する。
• 学習された特徴空間においてk近傍探索を実行し、各クエリ建物の候補マッチングを特定する。
• ドミナントセットに基づくアルゴリズムを適用し、クエリに最もよく一致する一貫性がありコン act な参照建物の集合を特定し、グローバルな一貫性を強制する。
• 最終的な地理的局所化推定値を、ドミナントセットに含まれる建物の平均GPS座標として計算する。
• 学習および評価のため、ペアドされたストリートビューとアバウトビュー画像から構成される大規模な新規クロスビューデータセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 従来の局所特徴マッチングと比較して、ディーブラーニングベースの建物検出およびマッチングは、クロスビュー地理的局所化の正確性を向上させることができるか？
• RQ2 単一の最近傍に依存するのではなく、ドミナントセットを用いた複数最近傍マッチングは、単一最近傍に比べて地理的局所化のロバスト性をどの程度向上させるか？
• RQ3 提案手法は、学習中に見られなかった都市に対しても一般化できるか？ これは、学習された表現の頑健性を示す。
• RQ4 精度および効率の観点から、ドミナントセットの性能は、GMCPなどの代替的複数マッチング手法と比較してどうなるか？
• RQ5 クロスビュー地理的局所化タスクにおいて、建物ベースのマッチングは、全画像マッチングを上回る性能を示すか？

主な発見

• 提案手法は、学習済みおよび未学習の都市の両方で、SIFTベースのベースライン手法よりも顕著に高い地理的局所化正確性を達成する。
• 全画像マッチングではなく建物マッチングを用いることで、視点の変化が著しい複雑な都市環境においても性能が向上する。
• ドミナントセットに基づく複数最近傍マッチング手法は、GMCPを上回り、特にkおよびNCが増加する際、精度および計算効率の両面で優れている。
• マンハッタンのような未学習都市に対しても、良好な一般化性能を示し、学習ドメインを超えて表現が転送可能であることを示している。
• 新規クロスビューデータセットにおいて、複数の誤差閾値で優れた性能を示し、特に低誤差閾値における再現率の向上が顕著である。
• 建物特徴の意味的性質とディープ特徴学習のおかげで、視点の変化、照明の変化、季節的差異に対して頑健である。