[論文レビュー] Localizing Discriminative Visual Landmarks for Place Recognition

Zhe Xin, Yinghao Cai+6 more|arXiv (Cornell University)|Apr 14, 2019

Advanced Image and Video Retrieval Techniques参考文献 22被引用数 7

ひとこと要約

本稿では、建物や植生などの判別性の高い視覚的ランドマークを特定することで、頑健な視覚的場所認識を実現する弱教師付きランドマーク局所化ネットワーク（LLN）を提案する。画像レベルのアノテーションのみを用いて、重要領域を強調するsalienceマップを生成することで、より正確な類似度マッチングを可能にし、外見的・視点的変化が著しい困難なデータセットにおいて最先端の性能を達成している。

ABSTRACT

We address the problem of visual place recognition with perceptual changes. The fundamental problem of visual place recognition is generating robust image representations which are not only insensitive to environmental changes but also distinguishable to different places. Taking advantage of the feature extraction ability of Convolutional Neural Networks (CNNs), we further investigate how to localize discriminative visual landmarks that positively contribute to the similarity measurement, such as buildings and vegetations. In particular, a Landmark Localization Network (LLN) is designed to indicate which regions of an image are used for discrimination. Detailed experiments are conducted on open source datasets with varied appearance and viewpoint changes. The proposed approach achieves superior performance against state-of-the-art methods.

研究の動機と目的

• 照明、天候、視点の変化といった深刻な知覚的変化下における視覚的場所認識の課題に対処すること。
• 視点に敏感な包括的特徴や、判別性のない選択を欠く伝統的な局所特徴の限界を克服すること。
• 場所の判別に寄与する意味のある代表的視覚的ランドマーク（建物や植生など）のみを特定・局所化すること。
• 領域レベルのラベルの代わりに画像レベルのラベルのみを要する弱教師付き手法を開発すること。
• ORB-SLAMにランドマーク局所化を統合し、長期的なロボット自律性における再局所化性能を向上させること。

提案手法

• 特徴マップ内の各局所特徴のsalienceを示す空間的活性マップを出力するランドマーク局所化ネットワーク（LLN）を設計する。
• 三重項損失を用いたメトリクス学習により、エンドツーエンドでLLNを学習し、異なる場所間の類似度を最大化し、同じ場所内での類似度を最小化する。
• 訓練中に困難なネガティブサンプルに焦点を当てるハードネガティブマイニングを適用し、外見的変化下での一般化性能を向上させる。
• 活性マップから上位k個の顕著な領域（ランドマーク）を抽出し、画像マッチング用の局所特徴を取得する。
• 判別性の高いランドマークのみをクロスマッチングすることで、背景や曖昧な領域による誤検出を低減する。
• ORB-SLAMに統合する際、キーフレームの検索とマッチングをランドマーク制約付きマッチング（pLLN+mLLN）に置き換え、ポーズ推定の頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスやセグメンテーションアノテーションを必要としない弱教師付きディープラーニングモデルは、インスタンスレベルのアノテーションが不要な状態で、判別性の高い視覚的ランドマークを効果的に局所化できるか？
• RQ2 建物や植生など、最も代表的な画像領域のみを局所化することで、視覚的場所認識における外見的・視点的変化への頑健性がどのように向上するか？
• RQ3 深刻な環境的変化下において、ランドマークベースのマッチングは包括的特徴マッチングや伝統的なbag-of-words手法をどれほど上回るか？
• RQ4 提案手法は、ORB-SLAMのような既存のSLAMシステムに効果的に統合可能か？
• RQ5 ランドマーク局所化の計算コストは、フル画像マッチングと比較してどの程度で、高い正確性を維持できるか？

主な発見

• 提案されたLLN手法は、外見的・視点的変化が著しいベンチマークデータセットにおいて、最先端の手法を上回る優れた性能を達成した。
• ORB-SLAMにおけるpLLN+mLLNバージョンは、ベースラインのpDBoW+mDBoWアプローチと比較して、再局所化成功確率を約2倍に向上させた。
• LLNによるランドマーク抽出は1枚あたり16 msで実行可能であり、75個のランドマークに対してフル画像マッチング（46 ms）と比較して、ランドマークマッチングは著しく高速（13 ms）であることが示され、高い効率性を示した。
• 本手法は、照明、天候、季節的変化にかかわらず安定した特徴を示す建物や植生といった判別性の高い領域を効果的に局所化できた。
• 領域制約が加えられても、ORB特徴は依然として知覚的変化に敏感であり、候補選択が改善されたにもかかわらず、6-DOFポーズ推定の頑健性は制限された。
• トレーニング時に画像レベルのラベルのみを用いることで、高価なインスタンスレベルアノテーションを必要とせず、汎用的で転移可能な視覚的ランドマークを学習可能となった。