[论文解读] Lightweight Unsupervised Deep Loop Closure

Nate Merrill, Guoquan Huang|arXiv (Cornell University)|May 20, 2018

Robotics and Sensor-Based Localization参考文献 41被引用 27

一句话总结

本文提出一种轻量级、无监督的深度自编码器，用于视觉回环检测，通过随机投影变换和基于HOG的监督，从原始图像中无标注数据学习外观鲁棒特征。该模型在准确率和速度方面达到最先进性能，即使在资源受限系统上也能实现实时回环检测。

ABSTRACT

Robust efficient loop closure detection is essential for large-scale real-time SLAM. In this paper, we propose a novel unsupervised deep neural network architecture of a feature embedding for visual loop closure that is both reliable and compact. Our model is built upon the autoencoder architecture, tailored specifically to the problem at hand. To train our network, we inflict random noise on our input data as the denoising autoencoder does, but, instead of applying random dropout, we warp images with randomized projective transformations to emulate natural viewpoint changes due to robot motion. Moreover, we utilize the geometric information and illumination invariance provided by histogram of oriented gradients (HOG), forcing the encoder to reconstruct a HOG descriptor instead of the original image. As a result, our trained model extracts features robust to extreme variations in appearance directly from raw images, without the need for labeled training data or environment-specific training. We perform extensive experiments on various challenging datasets, showing that the proposed deep loop-closure model consistently outperforms the state-of-the-art methods in terms of effectiveness and efficiency. Our model is fast and reliable enough to close loops in real time with no dimensionality reduction, and capable of replacing generic off-the-shelf networks in state-of-the-art ConvNet-based loop closure systems.

研究动机与目标

• 解决大规模视觉SLAM系统在极端外观变化下实现鲁棒、实时回环检测的挑战。
• 克服现有基于卷积神经网络（ConvNet）方法的局限性，如需要大规模标注数据集、推理速度慢或依赖降维处理。
• 开发一种紧凑、高效且无监督的特征嵌入网络，无需微调即可在多样化环境中良好泛化。
• 作为重型、低速网络的即插即用替代品，无缝集成到现有基于卷积神经网络的场景识别流水线中。
• 通过在公开、无标注数据上进行预训练，提供开箱即用的预训练解决方案，实现无需环境特定适配的实时SLAM。

提出的方法

• 设计一种卷积自编码器架构，其重建目标为HOG描述符而非原始图像，以利用几何不变性与边缘信息。
• 采用去噪自编码器范式进行训练，通过引入随机投影变换对输入图像进行数据增强，以模拟视角变化。
• 使用HOG描述符作为监督目标，以强制实现几何一致性，并降低对光照和视角变化的敏感性。
• 在大规模公开数据集上以无监督方式训练网络，避免使用任何标注的回环配对数据。
• 直接从编码器最后一层提取紧凑的、固定长度的特征嵌入，以支持实时SLAM中的高效相似性搜索。
• 通过替换现有场景识别流水线中的重型特征提取器（如AlexNet），无需降维处理，即可将模型集成到现有系统中。

实验结果

研究问题

• RQ1 通过投影数据增强和HOG监督进行无监督训练的深度自编码器，是否能在极端外观变化下实现鲁棒的回环检测？
• RQ2 在基准数据集上，该模型在精度、召回率和推理速度方面与最先进方法相比表现如何？
• RQ3 该模型在不降低性能的前提下，能在多大程度上替代大型预训练分类网络，用于实时SLAM系统？
• RQ4 该模型是否能在无需微调或标注数据的情况下，跨多样化环境（如光照、天气、动态物体变化）实现良好泛化？
• RQ5 该模型是否适合直接集成到实时SLAM流水线中，包括基于地标或整体描述符的方法？

主要发现

• 所提模型在多个基准数据集上，包括在极端视角和光照变化下极具挑战性的Gardens Point数据集，均实现了最先进水平的精度和召回率。
• 该模型在有效性与推理速度方面持续优于DBoW2、FAB-MAP及基于卷积神经网络的SOTA方法，且无需降维处理。
• 由于其天然紧凑的1,064维描述符，该模型无需任何预处理或特征压缩即可实现实时回环检测。
• 在集成实验中，将基于AlexNet的描述符替换为本模型后，显著提升了基于地标系统的表现，同时消除了对昂贵投影矩阵的需求。
• 该模型成功在实时SLAM中实现回环检测，其阈值由无关的真实标注数据推导得出，证明了其鲁棒性与实际可部署性。
• 无监督训练方案支持轻松微调与可扩展性，即使在少量标注数据或领域偏移情况下，模型也表现出良好泛化能力。