[论文解读] Fast and Incremental Loop Closure Detection with Deep Features and Proximity Graphs

Shan An, Haogang Zhu+3 more|arXiv (Cornell University)|Sep 29, 2020

Advanced Image and Video Retrieval Techniques被引用 6

一句话总结

该论文提出FILD++，一种快速且可增量更新的回环检测系统，通过单一卷积神经网络提取全局与局部深度特征，实现高效的视觉位置识别。通过使用分层可导航小世界（HNSW）图进行实时索引，并对紧凑的40维局部特征进行暴力匹配，FILD++在11个基准数据集中的8个达到最先进水平的召回率，且在大型New College数据集（52,480张图像）上的平均查询时间为22.05毫秒。

ABSTRACT

In recent years, the robotics community has extensively examined methods concerning the place recognition task within the scope of simultaneous localization and mapping applications.This article proposes an appearance-based loop closure detection pipeline named ``FILD++" (Fast and Incremental Loop closure Detection).First, the system is fed by consecutive images and, via passing them twice through a single convolutional neural network, global and local deep features are extracted.Subsequently, a hierarchical navigable small-world graph incrementally constructs a visual database representing the robot's traversed path based on the computed global features.Finally, a query image, grabbed each time step, is set to retrieve similar locations on the traversed route.An image-to-image pairing follows, which exploits local features to evaluate the spatial information. Thus, in the proposed article, we propose a single network for global and local feature extraction in contrast to our previous work (FILD), while an exhaustive search for the verification process is adopted over the generated deep local features avoiding the utilization of hash codes. Exhaustive experiments on eleven publicly available datasets exhibit the system's high performance (achieving the highest recall score on eight of them) and low execution times (22.05 ms on average in New College, which is the largest one containing 52480 images) compared to other state-of-the-art approaches.

研究动机与目标

• 通过减少对耗时的特征提取与哈希技术的依赖，解决视觉回环检测中的计算瓶颈。
• 通过在单一深度网络中统一提取全局与局部特征，提升位置识别的效率与准确性。
• 通过使用分层可导航小世界（HNSW）图进行增量索引，实现在大规模环境中的实时性能。
• 通过直接对紧凑的深度局部特征进行完全匹配，消除哈希码生成与复杂词典构建的需求。
• 在多样化的真实世界数据集上实现高召回率与低执行时间，同时不损害几何验证的准确性。

提出的方法

• 通过两次前向传播，使用单一卷积神经网络同时提取全局与局部深度特征，降低模型复杂度与推理时间。
• 使用全局深度特征增量构建HNSW图，以在查询处理期间实现快速相似性搜索。
• 通过基于全局特征相似性的HNSW图检索前k个最近邻，实现初步过滤。
• 对40维深度局部特征进行暴力匹配，以实现几何验证，避免使用哈希码或量化。
• 使用基于RANSAC的几何一致性检查验证候选图像对，以消除误报。
• 将整个流程集成到适合大规模SLAM系统部署的实时、增量式框架中。

Figure 1: The modified version of DEep Local Feature (DELF) [ 61 ] architecture for feature extraction . We extract the incoming visual stream’s global and local representations via two passes of the proposed fully convolutional network. Three components constitute its structure, namely: the backbon

实验结果

研究问题

• RQ1 与多模型或混合方法相比，统一的深度网络用于全局与局部特征提取，是否能提升回环检测的效率与准确性？
• RQ2 使用HNSW图对全局特征进行索引，对大规模视觉数据库中的检索速度与召回率有何影响？
• RQ3 在速度与准确性方面，对紧凑的深度局部特征进行暴力匹配，在多大程度上可替代基于哈希或词典的方法？
• RQ4 与生成哈希码的步骤相比，消除该步骤在执行时间与系统复杂性方面带来了多大的性能提升？
• RQ5 在多样化的真实世界数据集上，FILD++与最先进方法相比，在召回率与延迟方面表现如何？

主要发现

• FILD++在11个公开数据集中的8个达到最高召回率，证明其检测准确性更优。
• 在New College数据集（52,480张图像）上，系统每查询平均处理时间为22.05毫秒，显著快于先前的FILD方法（50.28毫秒/查询）。
• 在New College数据集上，特征提取时间从17.69毫秒/查询减少至14.62毫秒/查询，且无需生成哈希码。
• RANSAC验证步骤的处理时间从7.55毫秒/查询加速至1.72毫秒/查询，对整体提速贡献显著。
• 使用40维深度局部特征可实现高效的暴力匹配，无需使用CasHash，简化了流程并降低了计算开销。
• 由于深度特征的判别能力与有效的几何验证，系统在多样化环境（包括高度纹理化与动态场景）中保持高准确率与鲁棒性。

Figure 2: An overview of the proposed loop closure detection pipeline. Global and local Convolution Neural Network (CNN) -based features are extracted as the incoming image stream enters the system. The global features enter the First-In-First-Out (FIFO) queue, and subsequently, they are fed into th