[論文レビュー] Visual place recognition using landmark distribution descriptors

Pilailuck Panphattarasap, Andrew Calway|arXiv (Cornell University)|Aug 15, 2016

Robotics and Sensor-Based Localization参考文献 5被引用数 10

ひとこと要約

本稿では、パノラマ画像内の顕著なランドマークのCNN特徴量とそれらの相対的な空間的位置を符号化することで、視覚的場所認識のためのランドマーク分布記述子（LDD）を提案する。水平方向に特徴量を積み重ね、セグメント化された領域内で照合することで、LDDは幾何学的整合性を強制し、100%再現率における平均精度が70%に達する。これは、全体画像CNNやCLM特徴量を含む先行手法と比較して12–20%高い性能を達成した。

ABSTRACT

Recent work by Suenderhauf et al. [1] demonstrated improved visual place recognition using proposal regions coupled with features from convolutional neural networks (CNN) to match landmarks between views. In this work we extend the approach by introducing descriptors built from landmark features which also encode the spatial distribution of the landmarks within a view. Matching descriptors then enforces consistency of the relative positions of landmarks between views. This has a significant impact on performance. For example, in experiments on 10 image-pair datasets, each consisting of 200 urban locations with significant differences in viewing positions and conditions, we recorded average precision of around 70% (at 100% recall), compared with 58% obtained using whole image CNN features and 50% for the method in [1].

研究の動機と目的

• 視点や環境条件の変化に対して強い視覚的場所認識を実現するため、ランドマークの空間的配置を組み込むこと。
• 相対的なランドマーク位置の整合性を強制しない既存手法の限界を解消すること。
• 異なる場所に存在する類似したランドマークが原因となる誤検出を減らすために、それらの分布を符号化すること。
• 全体画像記述子やCLMのようなランドマーク照合ベースラインを上回る性能を実現すること。
• ランドマークの順序に由来する幾何制約が、照合精度を顕著に向上させるかどうかを調査すること。

提案手法

• 顕著なシーン要因（建物や木など）を特定するため、Edge Boxesを用いてランドマーク領域を検出する。
• 各ランドマークは、AlexNetから抽出した深層CNN特徴量ベクトルで表現され、次に次元削減のためのガウスランダム射影が適用される。
• ランドマーク特徴量ベクトルをパノラマ全体にわたって水平方向に積み重ね、ランドマーク分布記述子（LDD）を構築する。
• 照合は、LDDを縦方向にセクション（例：3セクション）に分割し、各セクション内で最近傍のランドマークペアを特定し、それらの特徴量距離を合算することで実行する。
• 視野カバレッジを確保するため、各セクションに最低限のランドマーク数を要件とすることで、遮蔽や視点変化に対する耐性を向上させる。
• 画像の消失点を用いて中央パノラマセクションを中央に配置するオプションがあり、特にシーンの視点がずれている場合のアライメントを改善する。

実験結果

リサーチクエスチョン

• RQ1 ランドマークの相対的な空間的分布を符号化することで、視覚的場所認識の性能が向上するか？
• RQ2 ランドマークの順序整合性を強制することで、特徴量のみの照合と比較して、精度と再現率にどのような影響を与えるか？
• RQ3 ランドマークに基づく照合を用いたパノラマセクション方式が、全体画像または領域ベースのベースラインを上回るか？
• RQ4 消失点に基づくセクションアライメントは、中央でない視点において照合精度を向上させるか？
• RQ5 ランドマーク分布の符号化は、季節的・照明変化が著しい実世界の都市環境において、どのような影響を及ぼすか？

主な発見

• LDD手法は、10の都市データセットで100%再現率における平均精度が70%に達し、全体画像CNNベースライン（58%）やCLM手法（50%）を顕著に上回った。
• 100%再現率における精度は、全体画像CNN特徴量と比較して12%向上し、CLM手法と比較して20%向上した。
• 混同行列の結果、主対角線に高い類似度スコアが観察され、正確な場所認識が可能であることが示された。一方、CLMはより高い偽陽性率を示した。
• 消失点を用いて中央パノラマセクションを中央に配置することで、画像中心がシーンの主要視点と一致しない場合の照合性能が向上した。
• 本手法は、外観差が著しい例（例：植生、照明、構造の違い）を正しく照合でき、他の手法では失敗した事例に対しても有効であった。
• 失敗事例の主な原因は、車両などの一時的要因に起因するランドマーク検出であり、今後の研究では動的要素への耐性強化が求められる。