[論文レビュー] Feature Map Filtering: Improving Visual Place Recognition with Convolutional Calibration

Stephen Hausler, Adam Jacobson+1 more|arXiv (Cornell University)|Oct 30, 2018

Robotics and Sensor-Based Localization参考文献 23被引用数 4

ひとこと要約

本論文では、50枚の環境固有の画像のみを用いて事前学習されたCNNをキャリブレーションすることで、視覚的場所認識を向上させる計算効率の良い手法である特徴マップフィルタリングを提案する。外観変化（例：昼／夜、季節）に対して一貫性を示す特徴マップのサブセットを選択することにより、認識精度を向上させ、特に初期層で顕著な向上が得られるとともに、推論時間を最大64％短縮する。ネットワーク重みの再学習は行わない。

ABSTRACT

Convolutional Neural Networks (CNNs) have recently been shown to excel at performing visual place recognition under changing appearance and viewpoint. Previously, place recognition has been improved by intelligently selecting relevant spatial keypoints within a convolutional layer and also by selecting the optimal layer to use. Rather than extracting features out of a particular layer, or a particular set of spatial keypoints within a layer, we propose the extraction of features using a subset of the channel dimensionality within a layer. Each feature map learns to encode a different set of weights that activate for different visual features within the set of training images. We propose a method of calibrating a CNN-based visual place recognition system, which selects the subset of feature maps that best encodes the visual features that are consistent between two different appearances of the same location. Using just 50 calibration images, all collected at the beginning of the current environment, we demonstrate a significant and consistent recognition improvement across multiple layers for two different neural networks. We evaluate our proposal on three datasets with different types of appearance changes - afternoon to morning, winter to summer and night to day. Additionally, the dimensionality reduction approach improves the computational processing speed of the recognition system.

研究の動機と目的

• 日中／夜間、季節、時刻の変化などの顕著な外観変化に起因する視覚的場所認識の課題に対処すること。
• 新しい環境向けに深層CNNをオンラインで再学習する際の高い計算コストを克服すること。
• ネットワーク重みを変更せずに認識性能を向上させる、高速で軽量なキャリブレーション手法を開発すること。
• 最小限のキャリブレーションデータを用いて、事前学習済みCNNを新しい環境条件にリアルタイムで適応可能にすること。
• 余分なまたは一貫性のない特徴マップをフィルタリングすることで、認識精度の向上と推論速度の高速化が両立できることを示すこと。

提案手法

• 同じ場所の画像が外観変化下でも類似するように、外観変化に起因するL2距離を最小化する特徴マップのサブセットを選択することで、事前学習済みCNNをキャリブレーションする。
• 同じ照明条件などの共通環境要因により視覚的に類似する異なる場所同士のL2距離を最大化する。
• 外観変化に起因する性能低下を引き起こす特徴マップを段階的に削除するためのグリーディ選択アルゴリズムを用いる。
• ネットワークの再学習を一切行わず、新しい環境の開始時点で収集した50枚の画像のみを用いてキャリブレーション手順を適用する。
• HybridNetとAlexNet（ImageNetで事前学習済み）の2つのCNNアーキテクチャの複数層にわたり、特徴マップをフィルタリングする。
• 実世界のデータセット（多様な外観変化を含む）を用いて、フィルタリングされた特徴マップの局所化性能と計算効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 軽量なキャリブレーション手順により、CNN重みの再学習なしに視覚的場所認識性能を向上させることができるか？
• RQ2 外観変化にわたる一貫性に基づいて特徴マップをフィルタリングすることで、困難な環境下での認識精度が向上するか？
• RQ3 本手法は、異なるCNNアーキテクチャやネットワーク層（特に初期層対後期層）においてどの程度有効であるか？
• RQ4 特徴マップフィルタリングは、認識性能を維持または向上させつつ、計算コストをどの程度低減できるか？
• RQ5 本手法は、日中／夜間、冬／夏、午前／午後といった多様な外観変化に一般化可能か？

主な発見

• HybridNetのConv3層を用いた夜間から昼間への認識において、Oxford RobotCarデータセットでF1スコアが0.56から0.81に向上した。
• 同じデータセットでAlexNetのConv2層を用いた場合、F1スコアは0.41から0.69に上昇し、特に照明条件が厳しい状況下でも顕著な精度向上が確認された。
• HybridNetのConv3では推論時間を64％短縮（1フレームあたり68msから43.9msに）、AlexNetのConv2では処理時間を半減（81msから41msに）した。
• 平均して、HybridNetを用いた場合に51％、AlexNetを用いた場合に61％の特徴マップがフィルタリングされ、顕著な次元削減が達成された。
• 最も顕著な性能向上が初期畳み込み層で観察された。低レベル特徴（エッジやテクスチャ）は外観変化に非常に感受性が高いためである。
• 可視化により、削除された特徴マップはしばしば一時的な特徴（影や照明効果）に反応していたのに対し、保持されたマップはレーンマークのような安定した手がかりに集中していた。