[论文解读] ConvSequential-SLAM: A Sequence-based, Training-less Visual Place Recognition Technique for Changing Environments

Mihnea-Alexandru Tomită, Mubariz Zaffar+3 more|ePrints Soton (University of Southampton)|Sep 28, 2020

Robotics and Sensor-Based Localization参考文献 47被引用 6

一句话总结

本文提出 ConvSequential-SLAM，一种无需训练的视觉位置识别方法，通过融合序列图像分析与块归一化的区域卷积匹配，在视角和外观变化下实现最先进性能。通过利用信息增益和图像熵动态调节序列长度，该方法在无需深度学习或微调的情况下，于4个公开数据集上超越8种当代VPR技术。

ABSTRACT

Visual Place Recognition (VPR) is the ability to correctly recall a previously visited place under changing viewpoints and appearances. A large number of handcrafted and deep-learning-based VPR techniques exist, where the former suffer from appearance changes and the latter have significant computational needs. In this paper, we present a new handcrafted VPR technique that achieves state-of-the-art place matching performance under challenging conditions. Our technique combines the best of 2 existing trainingless VPR techniques, SeqSLAM and CoHOG, which are each robust to conditional and viewpoint changes, respectively. This blend, namely ConvSequential-SLAM, utilises sequential information and block-normalisation to handle appearance changes, while using regional-convolutional matching to achieve viewpoint-invariance. We analyse content-overlap in-between query frames to find a minimum sequence length, while also re-using the image entropy information for environment-based sequence length tuning. State-of-the-art performance is reported in contrast to 8 contemporary VPR techniques on 4 public datasets. Qualitative insights and an ablation study on sequence length are also provided.

研究动机与目标

• 为解决基于深度学习的VPR方法存在的问题，即需要大量训练和高计算资源，尤其在资源受限的机器人系统中。
• 克服手工设计特征在真实环境中对外观和视角变化的鲁棒性差的问题。
• 开发一种无需训练的VPR系统，在动态光照、季节变化和视角变化下仍保持高精度。
• 利用信息增益和熵对查询图像的序列长度进行优化，以提升匹配性能，且无需预先了解环境条件。
• 在保持计算高效的同时，实现在公开VPR基准上的最先进性能，并可部署于低功耗平台。

提出的方法

• 该方法结合SeqSLAM的序列匹配与CoHOG的区域卷积特征匹配，以增强视角不变性与外观鲁棒性。
• 采用块归一化以提升在光照和季节变化下的特征表示稳定性。
• 通过分析连续查询帧间的信息增益，动态确定序列长度，以识别最小有效序列长度。
• 使用图像熵作为内容相关度量，用于调整序列长度，尤其在低显著性场景（如夜间或特征稀疏帧）中有效。
• 系统通过仅依赖手工设计特征与序列图像比较，避免重新训练，无需标注数据集或GPU训练。
• 采用双优化策略，结合信息增益（用于下界控制）与熵（用于内容自适应调节），防止在高内容或低内容环境中出现次优序列长度。

实验结果

研究问题

• RQ1 通过结合序列图像分析与鲁棒特征匹配，无需训练的VPR系统能否实现最先进性能？
• RQ2 如何在无先验环境知识的前提下，基于图像内容与信息增益实现实时自适应序列长度优化？
• RQ3 熵与信息增益在低显著性或高变化性环境中，能在多大程度上提升匹配精度？
• RQ4 SeqSLAM与CoHOG的融合在极端视角与外观变化下，为何能优于现有手工设计与基于深度学习的VPR技术？
• RQ5 该系统的失效模式是什么？动态物体与植被在户外环境中如何导致感知混淆？

主要发现

• ConvSequential-SLAM 在4个公开VPR数据集（牛津RobotCar、SPED、Pittsburgh与Nordland）上均达到最先进性能，优于8种当代VPR技术，精度、召回率与AUC-PR指标全面领先。
• 系统性能随序列长度增加而显著提升，从k=1（等效于CoHOG）到k=20，准确率与AUC-PR持续上升，证明了序列分析的优势。
• 在Alderlay数据集（夜间图像）中，系统将序列长度增至25，归因于低显著性，表明基于熵的调节在低能见度条件下有效。
• 在高熵数据集（如Campus Loop与Gardens Point）中，信息增益通过设定序列长度的下限，防止出现次优序列长度。
• 尽管性能优异，Nordland数据集中的失败案例源于密集植被与动态特征引发的感知混淆，凸显VPR系统仍存在的挑战。
• 消融实验表明，信息增益与熵对最优序列长度选择均不可或缺，仅使用其一会导致在特定环境下的次优性能。