[论文解读] DeepSeqSLAM: A Trainable CNN+RNN for Joint Global Description and Sequence-based Place Recognition

Marvin Chancán, Michael Milford|arXiv (Cornell University)|Nov 17, 2020

Robotics and Sensor-Based Localization参考文献 53被引用 13

一句话总结

该论文提出 DeepSeqSLAM，一种可训练的 CNN+RNN 架构，通过单目图像序列联合学习视觉与位置表征，实现极端外观变化下的鲁棒场景识别。通过用端到端学习替代计算量大的基于启发式规则的序列匹配，该方法在 2 帧序列长度下于 Nordland 数据集上实现了 72% 的 AUC，显著优于 SeqSLAM（2%）和 Delta Descriptors（27%），同时将部署时间从 CPU 上的 70 分钟减少至 1 分钟。

ABSTRACT

Sequence-based place recognition methods for all-weather navigation are well-known for producing state-of-the-art results under challenging day-night or summer-winter transitions. These systems, however, rely on complex handcrafted heuristics for sequential matching - which are applied on top of a pre-computed pairwise similarity matrix between reference and query image sequences of a single route - to further reduce false-positive rates compared to single-frame retrieval methods. As a result, performing multi-frame place recognition can be extremely slow for deployment on autonomous vehicles or evaluation on large datasets, and fail when using relatively short parameter values such as a sequence length of 2 frames. In this paper, we propose DeepSeqSLAM: a trainable CNN+RNN architecture for jointly learning visual and positional representations from a single monocular image sequence of a route. We demonstrate our approach on two large benchmark datasets, Nordland and Oxford RobotCar - recorded over 728 km and 10 km routes, respectively, each during 1 year with multiple seasons, weather, and lighting conditions. On Nordland, we compare our method to two state-of-the-art sequence-based methods across the entire route under summer-winter changes using a sequence length of 2 and show that our approach can get over 72% AUC compared to 27% AUC for Delta Descriptors and 2% AUC for SeqSLAM; while drastically reducing the deployment time from around 1 hour to 1 minute against both. The framework code and video are available at https://mchancan.github.io/deepseqslam

研究动机与目标

• 解决依赖手工设计启发式规则的经典序列化场景识别方法计算成本高、效率低的问题。
• 克服现有方法在短序列长度（如 2 帧）下性能下降的局限性，而此类短序列对实时部署至关重要。
• 通过单次单目路径遍历实现视觉与位置表征的端到端训练，无需预对齐的参考与查询序列。
• 开发一种可扩展、可部署的系统，可在 CPU 或 GPU 上高效运行，适用于自动驾驶应用。
• 在无速度或 GPS 先验的极端环境变化（如昼夜转换、季节更替）下实现鲁棒性能。

提出的方法

• 使用预训练的 CNN 从单目序列的每一帧中提取紧凑的全局图像描述符。
• 将提取的描述符输入 RNN（LSTM 或 GRU）以建模时间依赖性，并生成联合视觉与位置表征。
• 使用视觉里程计或其他运动估计源提供的位置监督信号，对整个 CNN+RNN 流水线进行端到端训练。
• 在推理阶段，通过学习到的描述符计算余弦或欧氏距离相似性矩阵，替代启发式匹配。
• 设计架构以对查询序列长度保持不变性，且无需参考与查询遍历之间的对齐。
• 使用 PyTorch 实现框架，实现在 CPU、GPU 或多 GPU 集群上的高效推理。

实验结果

研究问题

• RQ1 可训练的 CNN+RNN 架构能否联合学习视觉与位置表征，从而在极端外观变化下提升序列化场景识别性能？
• RQ2 所提出方法在准确率与推理速度方面是否显著优于经典序列化方法（如 SeqSLAM 和 Delta Descriptors），尤其是在短序列长度下？
• RQ3 该模型能否在长期、大规模数据集（如 Nordland，728 km；Oxford RobotCar，10 km）上，于季节与光照变化下保持高性能？
• RQ4 与基于启发式规则的序列匹配相比，端到端训练范式在多大程度上降低了计算开销？
• RQ5 该方法是否可在 CPU 上部署，并在无速度或 GPS 数据的情况下实现多 GPU 系统的可扩展性？

主要发现

• DeepSeqSLAM 仅使用 2 帧序列就在 Nordland 数据集上实现了 72% 的 AUC，显著优于 SeqSLAM（2% AUC）和 Delta Descriptors（27% AUC）。
• 该方法将完整 728 km Nordland 路线的部署时间从 SeqSLAM 的 70 分钟和 Delta Descriptors 的 51 分钟，缩短至 CPU 上的仅 1 分钟。
• 由于 RNN 时间建模联合学习视觉与位置特征，模型在季节与光照变化下表现出良好的泛化能力。
• 通过 CNN 提取的判别性特征，即使在外观发生偏移时仍能保持鲁棒性，证明了模型对视角变化和动态物体的鲁棒性。
• 该系统计算效率高，可在 CPU、GPU 或多 GPU 集群上部署，适用于自动驾驶中的实时应用。
• 源代码与视频已公开发布于 mchancan.github.io/deepseqslam，支持社区复用与扩展。