[論文レビュー] Self-localization from Images with Small Overlap

Tanaka Kanji|arXiv (Cornell University)|Mar 3, 2016

Robotics and Sensor-Based Localization参考文献 22被引用数 13

ひとこと要約

本稿では、視覚的重複が小さいか全くない画像からの自己局所化を可能にするスケーラブルな視覚的特徴Bag of Visual Features (BoVF)手法、PCA-NBNNを提案する。PCAで圧縮されたDCNN特徴量と、ナイーブベイズ最近傍（NBNN）距離尺度を用いる。高次元のDCNN特徴量と同等の性能を達成する一方で、特に視覚的重複が少ないクロスビューの困難な状況において顕著に高い効率性を示す。

ABSTRACT

With the recent success of visual features from deep convolutional neural networks (DCNN) in visual robot self-localization, it has become important and practical to address more general self-localization scenarios. In this paper, we address the scenario of self-localization from images with small overlap. We explicitly introduce a localization difficulty index as a decreasing function of view overlap between query and relevant database images and investigate performance versus difficulty for challenging cross-view self-localization tasks. We then reformulate the self-localization as a scalable bag-of-visual-features (BoVF) scene retrieval and present an efficient solution called PCA-NBNN, aiming to facilitate fast and yet discriminative correspondence between partially overlapping images. The proposed approach adopts recent findings in discriminativity preserving encoding of DCNN features using principal component analysis (PCA) and cross-domain scene matching using naive Bayes nearest neighbor distance metric (NBNN). We experimentally demonstrate that the proposed PCA-NBNN framework frequently achieves comparable results to previous DCNN features and that the BoVF model is significantly more efficient. We further address an important alternative scenario of "self-localization from images with NO overlap" and report the result.

研究の動機と目的

• クエリ画像とデータベース画像の間で視覚的重複が小さいか完全にない状況における視覚的ロボット自己局所化の課題に対処すること。これは先行研究でしばしば無視されている状況である。
• 視覚的重複の低下に伴い減少する関数としての局所化困難度インデックス（LDI）を導入し、さまざまな難易度レベルでの性能を体系的に評価すること。
• 部分的または完全に視覚的重複がない状況でも、識別力を維持できる効率的でスケーラブルなBoVFベースのリtrievalフレームワークを開発すること。
• クエリ画像と関連画像の間で視覚的重複がゼロである極端な状況における自己局所化の可能性と性能を調査すること。

提案手法

• 主成分分析（PCA）による次元削減と効率化を実施した部分レベルのDCNN特徴量を用いて、自己局所化をBag of Visual Features（BoVF）のシーン検索タスクに再定式化する。
• 特に外観変化や部分的重複の下でも、クロスドメインのシーンマッチングのロバスト性を向上させるために、ナイーブベイズ最近傍（NBNN）距離尺度を適用する。
• 視覚的特徴対応（VFC）検証を用いて視覚的重複を推定し、一致する特徴の数に基づいて局所化困難度インデックス（LDI）を計算する。
• 効率的なインデックス作成と検索を実現するため、100万語彙（1M vocabulary）を有するバイナリ化BoVF表現（bodw20）を採用する一方で、非バイナリ化および高次元DCNN特徴量と比較する。
• 圧縮された128次元DCNN特徴量（bodf）をPCA圧縮による量子化損失の分析に用いるが、計算コストが高いため実際には使用しない。
• 真値の視点情報とさまざまな重複レベルを有する独自のデータセットを用いて実験を行い、正しいマッチの正規化ランクを指標として性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 クエリ画像とデータベース画像の間の視覚的重複が減少するに従い、自己局所化の性能はどのように低下するか？
• RQ2 PCAで圧縮・バイナリ化されたDCNN特徴量を有するコンパクトなBoVFモデルは、視覚的重複が少ない自己局所化タスクにおいても高い正確性を維持できるか？
• RQ3 外観変化や部分的重複の下でも、マッチングのロバスト性を向上させるためにNBNN距離尺度はどの程度効果的か？
• RQ4 視覚的重複がゼロ（VFCによる一致特徴が存在しない）の場合の自己局所化性能はいかがなっているか？
• RQ5 提案されたPCA-NBNNフレームワークは、非バイナリ化または高次元DCNN特徴量と比較して、効率性と正確性のバランスに優れているか？

主な発見

• bodw20（100万語彙）を用いた提案手法PCA-NBNNは、容易な自己局所化タスク（ランク：0%–20%）において、非バイナリ化DCNN特徴量および高次元PCA特徴量と同等のトップ10%識別率（約0.9）を達成する。
• 中程度の難易度タスク（ランク：0%–50%）では、提案手法の性能は非バイナリ化DCNN特徴量を下回る傾向にあり、中程度の重複下でもロバスト性に相対的な低下が見られる。
• 困難な自己局所化タスク（ランク：0%–100%）においても、提案手法bodw20は非圧縮DCNN特徴量（例：dcnn, pca128, pca256, pca512, bodf）と同等のトップ10%識別率を維持しており、視覚的重複が少ない状況下でも強いロバスト性を示す。
• 視覚的重複がゼロ（NO overlap）という極端な状況においても、提案手法はランダム確率（y = x/300）を上回る性能を示しており、グローバルな外観や大気的類似性に起因する残存する識別力が存在することが示された。
• 非バイナリ化DCNN特徴量と比較して、提案手法は顕著に高い効率性を示しており、圧縮特徴量を用いていながらも、リアルタイムまたはリソース制限のあるアプリケーションに適している。
• VFC検証におけるオクルージョンと誤検出は主な誤り要因である。特に、VFCスコアが高くても局所化性能が悪いケース（例：ケース#4でランク93%）が観察され、重複推定の限界が浮き彫りになった。