[论文解读] OverlapTransformer: An Efficient and Rotation-Invariant Transformer Network for LiDAR-Based Place Recognition

Junyi Ma, Jun Zhang+4 more|arXiv (Cornell University)|Mar 7, 2022

Robotics and Sensor-Based Localization被引用 9

一句话总结

本文提出 OverlapTransformer，一种轻量级、偏航角不变的 Transformer 网络，仅使用 LiDAR 距离图像生成快速、准确的全局描述符，用于场景识别。通过利用自注意力机制和一种新颖的重叠监督方式，该方法实现亚 2ms 的推理时间，并在多样化环境（包括 KITTI、Ford Campus 和新构建的长期数据集）中的回环检测任务上超越当前最先进方法，尤其在长时序和逆向行驶场景下表现优异。

ABSTRACT

Place recognition is an important capability for autonomously navigating vehicles operating in complex environments and under changing conditions. It is a key component for tasks such as loop closing in SLAM or global localization. In this paper, we address the problem of place recognition based on 3D LiDAR scans recorded by an autonomous vehicle. We propose a novel lightweight neural network exploiting the range image representation of LiDAR sensors to achieve fast execution with less than 2 ms per frame. We design a yaw-angle-invariant architecture exploiting a transformer network, which boosts the place recognition performance of our method. We evaluate our approach on the KITTI and Ford Campus datasets. The experimental results show that our method can effectively detect loop closures compared to the state-of-the-art methods and generalizes well across different environments. To evaluate long-term place recognition performance, we provide a novel dataset containing LiDAR sequences recorded by a mobile robot in repetitive places at different times. The implementation of our method and dataset are released here: https://github.com/haomo-ai/OverlapTransformer

研究动机与目标

• 开发一种快速、高效且鲁棒的基于 LiDAR 的场景识别方法，能够在多样化环境和视角变化下实现良好泛化能力。
• 通过仅使用来自距离图像的深度信息，消除对手工设计特征或多模态输入（如强度、法向量、语义）的依赖。
• 在全局描述符中实现偏航角不变性，以识别来自相反视角的场景（如逆向行驶回环）。
• 设计一种轻量化架构，实现每帧低于 2ms 的实时推理，适用于在线 SLAM 和定位任务。
• 在新构建的、具有挑战性的数据集中评估长期场景识别性能，该数据集捕捉了不同时间与条件下重复出现的场景。

提出的方法

• 该方法以 3D LiDAR 扫描的距离图像表示作为输入，保留空间结构以实现高效处理。
• 距离图像编码器（RIE）使用卷积层从距离图像中提取局部特征。
• 在 RIE 和全局描述符生成器（GDG）之间插入一个 Transformer 块（TM），以建模长距离依赖关系并增强特征表示。
• 全局描述符生成器（GDG）使用类似 NetVLAD 的池化层，将特征压缩为固定大小的全局描述符。
• 通过基于重叠的损失函数进行网络训练，以鼓励重叠扫描之间描述符的高相似性。
• 通过网络架构设计和训练阶段的数据增强实现偏航角不变性，从而增强对视角变化的鲁棒性。

实验结果

研究问题

• RQ1 仅使用距离图像中的深度信息，轻量级 Transformer 网络是否能在保持亚 2ms 推理时间的同时实现高场景识别准确率？
• RQ2 所提出方法在无需微调的情况下，能否在不同环境和传感器条件下实现良好泛化？
• RQ3 由于描述符具备偏航角不变性，模型在多大程度上能识别来自相反视角（如逆向行驶）的场景？
• RQ4 该方法在长期场景识别任务中的表现如何，包括在不同时间重复访问以及在不同条件下？
• RQ5 在性能与推理速度之间取得最佳平衡时，Transformer 块的最优数量是多少？

主要发现

• 所提出的 OverlapTransformer 在 Haomo 数据集上实现 0.788 的 recall@1，推理时间仅 1.37ms，优于所有对比的 SOTA 方法，兼具速度与精度优势。
• 仅使用一个 Transformer 块时，性能与效率的权衡达到最佳，更深的网络（如 6 个块）反而导致性能轻微下降。
• 该方法运行频率达 730 Hz，超过典型 LiDAR 扫描频率，适用于实时在线 SLAM 应用。
• 在 KITTI 和 Ford Campus 数据集上，模型实现优异泛化能力，recall@1 分数超过 0.75，表明其在不同环境中的鲁棒性。
• 偏航角不变设计使模型即使在逆向回环场景下也能实现准确识别，该结论已在包含相反视角扫描的新 Haomo 数据集上得到验证。
• 与基于学习的基线方法（如 PointNetVLAD、MinkLoc3D 和 NDT-Transformer-P）相比，该方法在描述符生成速度和检索效率方面均表现更优。