[論文レビュー] Condition-Invariant Multi-View Place Recognition

José M. Fácil, Daniel Olid+2 more|arXiv (Cornell University)|Feb 25, 2019

Robotics and Sensor-Based Localization参考文献 36被引用数 39

ひとこと要約

本論文は、フレーム列から学習することにより外観変化全体での視覚的場所認識を向上させる、Descriptor Grouping、Descriptor Fusion、Recurrent Descriptors の3つの深層学習ベースのマルチビューアーキテクチャを提案する。これらのモデルは、単一ビューおよび SeqSLAM のベースラインを上回り、ディスクリプタははるかに小さい。

ABSTRACT

Visual place recognition is particularly challenging when places suffer changes in its appearance. Such changes are indeed common, e.g., due to weather, night/day or seasons. In this paper we leverage on recent research using deep networks, and explore how they can be improved by exploiting the temporal sequence information. Specifically, we propose 3 different alternatives (Descriptor Grouping, Fusion and Recurrent Descriptors) for deep networks to use several frames of a sequence. We show that our approaches produce more compact and best performing descriptors than single- and multi-view baselines in the literature in two public databases.

研究の動機と目的

• 天候・昼夜・季節・ダイナミクスといった外観変化下での視覚的場所認識の頑健性に対処する。
• 単一画像に依存するのではなく、フレーム列から学習してマルチビュー情報を活用する。
• 多フレームディスクリプタを効率的に統合する3つの深層学習アーキテクチャを開発・評価する。

提案手法

• バックボーンとして ResNet-50 を用いて、各フレームから128次元のディスクリプタを抽出する。
• Descriptor Grouping: n フレームのウィンドウからディスクリプタを結合して、128×n のシーケンスディスクリプタを形成する。
• Descriptor Fusion: 追加の全結合層を通して、n フレームの出力から128次元の融合ディスクリプタを学習する。
• Recurrent Descriptors: 各フレームのディスクリプタを LSTM に入力して、時間とともに更新される128次元のシーケンスディスクリプタを生成する。
• 同じ場所のシーケンスを近づけ、異なる場所のシーケンスを遠ざけるトリプレット損失（ Wohlhart-Lepetit ）で全モデルを訓練する。
• Nordland および Alderley データセットで評価し、単一ビューのベースラインおよび SeqSLAM と比較する。

実験結果

リサーチクエスチョン

• RQ1 重大な外観変化の下で、マルチビュー深層表現は場所認識を改善できるか？
• RQ2 どのマルチビュー融合戦略（Grouping、Fusion、Recurrence）が、精度とディスクリプタのコンパクトさの最適なトレードオフをもたらすか？
• RQ3 逆順序や速度変化のような変動の下で、これらのモデルはどのように性能を発揮するか？

主な発見

手法	フレーム数	ディスクリプタ	冬対夏の精度	夏対冬の精度
ours (grouping)	3	384	92%	92%
ours (fusion)	3	128	87%	86%
ours (recurrent)	3	128	85%	86%
Seqslam [11]	3	6144	31%	33%

• Descriptor Grouping は Partitioned Nordland で 3 フレームを用いて最高精度を達成し、384 要素のディスクリプタで 92% の精度。
• Descriptor Fusion は Nordland で 3 フレームで 87% の精度を達成し、128 の小さなディスクリプタサイズで多くのベースラインを上回った。
• Recurrent Descriptors は Nordland で 3 フレームで 85% の精度を達成し、シーケンスダイナミクスに対して堅牢性を示した。
• 同じフレーム数を用いた場合、3つのマルチビューモデルはすべて、単一ビューのベースラインおよび SeqSLAM を上回った。
• ディスクリプタサイズは多くのベースラインよりはるかに小さく（例：384または128次元）、高い精度を提供する。
• Alderley（昼と夜）では、マルチビューアプローチ（grouping）が最も性能の高いモデルであり続けた。