[論文レビュー] Semantic Image Based Geolocation Given a Map

Arsalan Mousavian, Jana Košecká|arXiv (Cornell University)|Sep 1, 2016

Advanced Image and Video Retrieval Techniques参考文献 18被引用数 19

ひとこと要約

本論文では、2次元地図とスパarsな地物タグ付き参照ビューのセットを用いた、意味的画像ベースの地理的局所化のための新規手法を提案する。外観に基づく建物同定と、建物の外壁および地図データからの3次元幾何的制約を組み合わせることで、確率的ポーズ尤度マップを計算し、特に標準視野角（FOV）画像における重複が少ない状況でも、幾何学的アプローチに比べて顕著に局所化精度を向上させる。

ABSTRACT

The problem visual place recognition is commonly used strategy for localization. Most successful appearance based methods typically rely on a large database of views endowed with local or global image descriptors and strive to retrieve the views of the same location. The quality of the results is often affected by the density of the reference views and the robustness of the image representation with respect to viewpoint variations, clutter and seasonal changes. In this work we present an approach for geo-locating a novel view and determining camera location and orientation using a map and a sparse set of geo-tagged reference views. We propose a novel technique for detection and identification of building facades from geo-tagged reference view using the map and geometry of the building facades. We compute the likelihood of camera location and orientation of the query images using the detected landmark (building) identities from reference views, 2D map of the environment, and geometry of building facades. We evaluate our approach for building identification and geo-localization on a new challenging outdoors urban dataset exhibiting large variations in appearance and viewpoint.

研究の動機と目的

• スパarsで重複のない参照ビューと限られた視野角のクエリ画像を用いた都市環境における画像の局所化の課題に対処すること。
• 複数の重複するビューが得られないために従来の三角測量が不可能な状況での局所化精度の向上。
• 公開されている地図データ（例：OpenStreetMap）および建物外壁の3次元幾何を活用して、ポーズ推定を向上させること。
• 外観一致、建物の識別、幾何的制約を統合する確率的フレームワークを構築し、頑健な局所化を実現すること。
• 視覚的重複が最小限であっても、正確な局所化を可能にする。

提案手法

• まず、地図データおよび建物外壁の幾何的制約を用いて、スパarsな地物タグ付き参照ビューのカメラの向きを推定する。
• 地図支援幾何と外観一致を用いて、参照画像における意味的セグメンテーションおよび建物同定を実行する。
• クエリ画像に対しては、Bag-of-Visual-Words（BoW）を用いて類似する参照ビューを検索し、外観に基づく一致により建物の識別を推定する。
• 単眼再構成技術を用いて、1枚のクエリビューから3次元幾何的シグネチャを計算し、外壁の幾何と向きを推定する。
• 確率的モデルを用いて、外観一致、建物識別、地図との幾何的一致性の証拠を統合し、ポーズ尤度を計算する。
• 10m間隔の位置と1位置あたり120方向のグリッド探索により、クエリ画像のポーズの完全な尤度マップを計算する。

実験結果

リサーチクエスチョン

• RQ1 重複のない2枚の参照ビューを持つスパarsな地物タグ付き参照ビューと2次元地図を組み合わせることで、クエリ画像の正確な局所化が可能になるか？
• RQ2 標準視野角（FOV）画像において、幾何的シグネチャのみを用いる場合と比較して、建物識別を組み込むことで、局所化精度はどの程度向上するか？
• RQ3 密な視覚的重複が欠如する状況において、外観に基づく建物識別はポーズ尤度推定にどの程度寄与するか？
• RQ4 パノラマまたは高密度にサンプリングされたビューに依存する従来の手法と比較して、本手法はどのように異なるか？
• RQ5 マージナライズド推論とグリーディ割り当ての違いが、建物識別精度および局所化性能に与える影響は何か？

主な発見

• マージナライズド割り当てを用いた本手法は、k=1のとき、教師ありの真値精度0.7543に非常に近い0.7627のピクセル単位の建物識別精度を達成した。
• k=8のとき、教師なしのマージナライズド割り当ては81.77%のピクセル単位の精度を達成し、グリーディ割り当て（81.44%）を上回り、教師ありベースライン（82.54%）に近づいた。
• 幾何的シグネチャと建物識別を併用した局所化により、幾何的シグネチャのみを用いた場合と比較して、平均局所化誤差が最大30%まで低減された（図9参照）。
• 本手法は、対称的または繰り返しのある都市環境において特に生じる局所化のあいまいさに対処できるポーズ尤度マップを生成した。
• マージナライズド推論はグリーディ選択よりも建物識別推定を向上させ、k=1のとき1.5%の相対的精度向上を達成した。
• 本手法は、標準視野角（FOV）画像において、幾何的シグネチャのみに依存する手法を著しく上回り、このような状況下では幾何的シグネチャだけでは信頼できる局所化に不十分であることを示した。