[論文レビュー] ConvSequential-SLAM: A Sequence-based, Training-less Visual Place Recognition Technique for Changing Environments

Mihnea-Alexandru Tomită, Mubariz Zaffar+3 more|ePrints Soton (University of Southampton)|Sep 28, 2020

Robotics and Sensor-Based Localization参考文献 47被引用数 6

ひとこと要約

本論文では、視点や外観の変化に強く、トレーニング不要な視覚的場所認識手法であるConvSequential-SLAMを提案する。この手法は、順序付き画像解析とブロック正規化を施した局所的畳み込みマッチングを融合することで、視点や外観の変化に強い最新の性能を達成する。情報利得と画像エントロピーを用いて順序長を動的に最適化することで、深層学習や再トレーニングを必要とせず、4つの公開データセットで8種類の最新VPR手法を上回る性能を発揮する。

ABSTRACT

Visual Place Recognition (VPR) is the ability to correctly recall a previously visited place under changing viewpoints and appearances. A large number of handcrafted and deep-learning-based VPR techniques exist, where the former suffer from appearance changes and the latter have significant computational needs. In this paper, we present a new handcrafted VPR technique that achieves state-of-the-art place matching performance under challenging conditions. Our technique combines the best of 2 existing trainingless VPR techniques, SeqSLAM and CoHOG, which are each robust to conditional and viewpoint changes, respectively. This blend, namely ConvSequential-SLAM, utilises sequential information and block-normalisation to handle appearance changes, while using regional-convolutional matching to achieve viewpoint-invariance. We analyse content-overlap in-between query frames to find a minimum sequence length, while also re-using the image entropy information for environment-based sequence length tuning. State-of-the-art performance is reported in contrast to 8 contemporary VPR techniques on 4 public datasets. Qualitative insights and an ablation study on sequence length are also provided.

研究の動機と目的

• 深層学習に基づくVPR手法の限界、特にリソース制限のあるロボットシステムにおいて膨大なトレーニングと高コストな計算リソースを要することを解消すること。
• 現実世界の環境における外観や視点の変化に対して脆弱なハンドクラフト特徴量の問題を克服すること。
• トレーニング不要なVPRシステムを構築し、動的照明、季節変化、視点の変化に対しても高い精度を維持すること。
• 環境状態の事前知識なしに、情報利得とエントロピーを用いてクエリ画像の順序長を最適化し、マッチング性能を向上させること。
• 公開VPRベンチマークで最新の性能を達成するとともに、計算効率が高く低消費電力プラットフォームへの実装も可能にすること。

提案手法

• 本手法は、SeqSLAMの順序マッチングとCoHOGの局所的畳み込み特徴マッチングを組み合わせることで、視点不変性と外観への耐性を向上させる。
• 照明や季節変化の影響に対して特徴表現の安定性を高めるために、ブロック正規化を用いる。
• 順序長は、連続するクエリフレーム間の情報利得を分析することで、最小限の有効な順序長を特定することによって動的に決定する。
• 画像エントロピーをコンテンツベースの指標として用い、特に夜間や特徴のないフレームのような低特徴度状況での順序長調整に活用する。
• 教師ありデータセットやGPUトレーニングを必要とせず、ハンドクラフト特徴量と順序付き画像比較に依存することで、再トレーニングを回避する。
• 二重最適化戦略として、情報利得（下限を設定）とエントロピー（コンテンツベースの調整）を併用し、高コンテンツまたは低コンテンツ環境における不適切な順序長を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 順序付き画像解析と頑健な特徴マッチングを組み合わせたトレーニング不要なVPRシステムが、最新の性能を達成できるか。
• RQ2 環境状態の事前知識なしに、画像コンテンツと情報利得を用いて、リアルタイムで順序長を適応的に最適化できるか。
• RQ3 エントロピーと情報利得は、低特徴度または高変動性環境でのマッチング精度をどの程度向上できるか。
• RQ4 SeqSLAMとCoHOGの統合は、極端な視点変化や外観変化下でも、既存のハンドクラフト特徴量および深層学習ベースのVPR手法を上回る性能を発揮できるか。
• RQ5 本システムの失敗モードは何か。また、動的物体や植生は屋外環境における認識的同一視（perceptual aliasing）をどのように引き起こすか。

主な発見

• ConvSequential-SLAMは、4つの公開VPRデータセット（Oxford RobotCar、SPED、Pittsburgh、Nordland）で、8種類の最新VPR手法を上回る最新の性能を達成し、精度、再現率、AUC-PR指標で優れた結果を示した。
• システムの性能は順序長の増加に伴い著しく向上し、k=1（CoHOGと同等）からk=20に至るまで、精度とAUC-PRが上昇した。これは順序解析の有効性を示している。
• Alderlayデータセット（夜間画像）では、低特徴度のため順序長を最大25まで延長した。これはエントロピーに基づく調整が低視認性状況でも有効であることを示している。
• Campus LoopやGardens Pointのような高エントロピーのデータセットでは、情報利得が順序長の下限を設定することで、不適切な短い順序長を防いでいる。
• 強力な性能を発揮しているが、Nordlandデータセットでは密集した植生と動的特徴による認識的同一視の影響で失敗が発生しており、VPRシステムにおける依然として残された課題を示している。
• アブレーションスタディにより、情報利得とエントロピーの両方が最適な順序長選択に不可欠であることが確認された。一方だけを用いる場合、特定の環境下で性能が劣化する。