[論文レビュー] You Are Here: Geolocation by Embedding Maps and Images

Noe Samano, Mengjie Zhou+1 more|arXiv (Cornell University)|Nov 20, 2019

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 5

ひとこと要約

本論文では、GPSに依存せずに、パノラマ画像とマップタイルを共有の16次元空間に埋め込む深層学習手法を提案する。シアン型ネットワークとトリプレット損失を活用することで、ルートベースの局所化が可能となり、GoogleストリートビューとOpenStreetMapデータを用いて200mルートで90％以上の精度を達成。従来の手作業で特徴を抽出する手法に比べ、一般化性能と識別性能の両面で優れている。

ABSTRACT

We present a novel approach to geolocalising panoramic images on a 2-D cartographic map based on learning a low dimensional embedded space, which allows a comparison between an image captured at a location and local neighbourhoods of the map. The representation is not sufficiently discriminatory to allow localisation from a single image, but when concatenated along a route, localisation converges quickly, with over 90% accuracy being achieved for routes of around 200m in length when using Google Street View and Open Street Map data. The method generalises a previous fixed semantic feature based approach and achieves significantly higher localisation accuracy and faster convergence.

研究の動機と目的

• GPSや地理的座標が付与された画像データベースに依存せずに、2次元の地図データを用いてパノラマ画像をロバストかつ一般化可能な方法で局所化する手法の開発。
• 交差点やギャップといった固定された意味的特徴では、特徴が乏しい都市部で性能が著しく低下する問題を克服すること。
• 画像とマップタイルの表現が意味的に整合するように、低次元の埋め込み空間を学習し、ユークリッド距離による直接比較を可能にすること。
• 個々の画像の識別性が低い状況下でも、ルート全体の記述子照合によって正確な局所化が可能であることを示すこと。
• 異なる都市環境、特に特徴密度が異なる環境において、本手法の一般化性能とロバスト性を検証すること。

提案手法

• パノラマ画像（4方向）とローカルマップタイルを、共有の16次元埋め込み空間にマップするため、トリプレット損失を用いてトレーニングされた、シアン型の深層ニューラルネットワークを採用。
• 特徴抽出層とプロジェクション層を用いて、画像とマップタイルの両方のコンactな記述子を生成し、対応するペアが埋め込み空間内で近接するように保証。
• 局所化は、マップタイルのシーケンスから得られるルート記述子と、ルートに沿った画像シーケンスから導出されるクエリ記述子を比較することで実行。
• ナイーブなルートマッチングアルゴリズムを用いて、すべての可能なルート記述子をクエリと比較し、可能性の高い位置の順位付きリストを出力。
• 大規模なGSVおよびOSMデータから学習することで、固定された意味的特徴に依存せず、データ駆動型の表現を学習。
• 検索中にルート候補が pruning されても、各ステップで50％の候補が除外されても性能が維持されるため、早期に識別が行われることが示唆される。

実験結果

リサーチクエスチョン

• RQ1 パノラマ画像とローカルマップタイルを、地理的局所化のための効果的な埋め込み空間に効果的に統合できるか。
• RQ2 データ駆動型表現を学習することで、交差点やギャップといった固定された意味的特徴に比べ、多様な都市環境における一般化性能と精度が向上するか。
• RQ3 個々の画像照合に比べ、ルートレベルの記述子照合が、局所化精度をどの程度向上させるか。
• RQ4 従来の手法が失敗するような、特徴が乏しい地域でも、本手法はどの程度の性能を示すか。
• RQ5 埋め込み空間とターン情報の両者が、ルート局所化に果たす相対的寄与度はどの程度か。

主な発見

• 学習された埋め込み空間を用いた地理的局所化タスクにおいて、トップ1％リCALLは72％から82％の間で達成された。
• 全テスト都市地域（2–3 km²）において、約200メートルのルートで90％以上の局所化精度が達成された。
• 特に交差点やギャップの密度が低い地域では、従来の手作業で特徴を抽出する手法（BSD）の精度が60％未満に低下するが、本手法はその点で顕著に優れている。
• 全テスト地域で一貫した高い性能を示しており、強力な一般化性能を示しており、埋め込み空間はBSD手法とは異なる意味的キューを学習していることが判明。
• 差分スコアから、埋め込み空間手法で正しく局所化された30–40％のルートは、BSD手法では正しく局所化されておらず、本手法が補完的かつ多様な特徴学習が可能であることを示している。
• 検索中に50％のルート候補が除外されても、局所化精度が安定しているため、ルートシーケンスの初期段階で識別が行われていることが示唆される。