[论文解读] CNN Feature boosted SeqSLAM for Real-Time Loop Closure Detection

Dongdong Bai, Chaoqun Wang+3 more|arXiv (Cornell University)|Apr 17, 2017

Robotics and Sensor-Based Localization参考文献 13被引用 3

一句话总结

本文提出 SeqCNNSLAM，一种实时回环检测方法，通过融合预训练CNN特征（特别是pool5层）与基于序列的匹配，实现对视角和环境变化的鲁棒性。该方法引入A-SeqCNNSLAM，利用时间先验限制匹配范围以实现运行时加速；并提出O-SeqCNNSLAM，支持在线参数调整，在保持最小精度损失的前提下实现4–6倍加速，同时在基准数据集上保持最先进性能。

ABSTRACT

Loop closure detection (LCD) is an indispensable part of simultaneous localization and mapping systems (SLAM); it enables robots to produce a consistent map by recognizing previously visited places. When robots operate over extended periods, robustness to viewpoint and condition changes as well as satisfactory real-time performance become essential requirements for a practical LCD system. This paper presents an approach to directly utilize the outputs at the intermediate layer of a pre-trained convolutional neural network (CNN) as image descriptors. The matching location is determined by matching the image sequences through a method called SeqCNNSLAM. The utility of SeqCNNSLAM is comprehensively evaluated in terms of viewpoint and condition invariance. Experiments show that SeqCNNSLAM outperforms state-of-the-art LCD systems, such as SeqSLAM and Change Removal, in most cases. To allow for the real-time performance of SeqCNNSLAM, an acceleration method, A-SeqCNNSLAM, is established. This method exploits the location relationship between the matching images of adjacent images to reduce the matching range of the current image. Results demonstrate that acceleration of 4-6 is achieved with minimal accuracy degradation, and the method's runtime satisfies the real-time demand. To extend the applicability of A-SeqCNNSLAM to new environments, a method called O-SeqCNNSLAM is established for the online adjustment of the parameters of A-SeqCNNSLAM.

研究动机与目标

• 解决长期机器人导航中同时面临视角变化与环境条件变化时的鲁棒回环检测挑战。
• 通过降低计算复杂度，在不牺牲精度的前提下提升基于CNN的回环检测方法的实时性能。
• 通过在线参数调整实现算法对新环境或未见环境的适应能力。
• 评估中间CNN特征（特别是pool5）在增强对环境与视角变化的不变性方面的有效性。

提出的方法

• 利用预训练CNN（如AlexNet）的pool5层作为图像描述符，捕捉在视角和环境变化下保持不变的特征。
• 应用基于序列的匹配（SeqSLAM）方法，利用CNN描述符比较图像序列，提升对环境变化的鲁棒性。
• 提出A-SeqCNNSLAM，通过利用相邻图像之间的时序关系，限制每张图像的匹配范围，从而加速计算。
• 在O-SeqCNNSLAM中引入动态参数调整机制，根据历史匹配位置和场景变化检测结果，实时更新匹配范围数量（K）。
• 基于CNN描述符之间的欧氏距离定义变化度量指标，用于检测显著的场景变化并触发K的重新初始化。
• 采用最后10张图像的滑动窗口计算图像匹配标签（IML），并在检测到场景稳定时，将K动态设置为最大IML值。

实验结果

研究问题

• RQ1 中间CNN特征（如pool5）是否能提升在视角和环境条件变化下的回环检测鲁棒性？
• RQ2 基于CNN描述符的序列匹配在性能上是否显著优于传统方法（如SeqSLAM和Change Removal）？
• RQ3 通过时间先验限制匹配范围，能在多大程度上实现回环检测的加速，同时保持最小精度损失？
• RQ4 对匹配范围（K）的在线参数调整是否能在不重新训练的情况下提升算法对新环境的适应能力？

主要发现

• SeqCNNSLAM在多个数据集上均优于当前最先进方法（如SeqSLAM和Change Removal），在同时面对视角和环境条件变化时表现出更强的鲁棒性。
• A-SeqCNNSLAM在保持与基线SeqCNNSLAM相当精度的前提下，实现4–6倍加速，运行时间满足实时性要求。
• 在Nordland数据集（12.5%位移）上，O-SeqCNNSLAM性能与A-SeqCNNSLAM相当，证明其对新环境具有有效的在线适应能力。
• O-SeqCNNSLAM中K的在线调整在场景切换期间成功维持了性能，当变化度量指标超过1.1或低于0.9时触发重新初始化。
• O-SeqCNNSLAM在ds=80时运行时间为121.494秒，在ds=100时为151.932秒，表明其具备良好的可扩展性与实时可行性。