[论文解读] General Place Recognition Survey: Towards the Real-world Autonomy Age

Peng Yin, Shiqi Zhao+7 more|arXiv (Cornell University)|Sep 9, 2022

Indoor and Outdoor Localization TechnologiesEngineering被引用 17

一句话总结

本综述全面回顾了真实世界机器人自主导航中的长期地点识别（GPR），涵盖多模态传感器方法、基于深度学习的特征提取，以及对外观和视角变化的鲁棒性。该工作提出统一框架、新数据集和评估API，弥合理论与大规模、长期导航系统实际部署之间的差距。

ABSTRACT

Place recognition is the fundamental module that can assist Simultaneous Localization and Mapping (SLAM) in loop-closure detection and re-localization for long-term navigation. The place recognition community has made astonishing progress over the last $20$ years, and this has attracted widespread research interest and application in multiple fields such as computer vision and robotics. However, few methods have shown promising place recognition performance in complex real-world scenarios, where long-term and large-scale appearance changes usually result in failures. Additionally, there is a lack of an integrated framework amongst the state-of-the-art methods that can handle all of the challenges in place recognition, which include appearance changes, viewpoint differences, robustness to unknown areas, and efficiency in real-world applications. In this work, we survey the state-of-the-art methods that target long-term localization and discuss future directions and opportunities. We start by investigating the formulation of place recognition in long-term autonomy and the major challenges in real-world environments. We then review the recent works in place recognition for different sensor modalities and current strategies for dealing with various place recognition challenges. Finally, we review the existing datasets for long-term localization and introduce our datasets and evaluation API for different approaches. This paper can be a tutorial for researchers new to the place recognition community and those who care about long-term robotics autonomy. We also provide our opinion on the frequently asked question in robotics: Do robots need accurate localization for long-term autonomy? A summary of this work and our datasets and evaluation API is publicly available to the robotics community at: https://github.com/MetaSLAM/GPRS.

研究动机与目标

• 解决长期地点识别（GPR）缺乏统一框架的问题，该框架需应对外观变化、视角差异、未知区域以及实时效率挑战。
• 回顾视觉、激光雷达（LiDAR）、雷达及多模态传感器输入下的最先进方法，以实现鲁棒的地点识别。
• 识别真实世界部署中的关键挑战，包括时间上的外观变化、视角偏移以及对未知环境的鲁棒性。
• 提供标准化基准，包含新数据集和评估API，以实现GPR方法的公平比较与持续进步。
• 引导研究人员构建可泛化、适用于真实世界场景的地点识别系统，以支持机器人长期自主导航。

提出的方法

• 将地点识别建模为跨多样化传感器模态的一般性、外观与视角不变的检索问题。
• 调研基于深度学习的特征提取技术，包括360°感知卷积层和用于多模态输入的Transformer注意力机制聚合。
• 引入领域自适应与模拟到真实（sim-to-real）迁移方法，实现在仅使用数百公里真实世界训练数据的情况下实现高重定位精度的少样本训练。
• 开发多传感器融合策略，整合视觉、LiDAR和雷达数据，以弥补各模态的固有局限性（如LiDAR的纹理丢失、雷达的噪声）。
• 设计标准化评估API，并发布大规模、长期的城市级与室内环境数据集，涵盖时间与视角变化。
• 集成用于未知和复杂环境下的鲁棒性、效率与泛化能力的评估指标。

实验结果

研究问题

• RQ1 地点识别系统如何在具有显著外观与视角变化的大规模、长期环境中实现鲁棒性能？
• RQ2 哪些最有效的多模态传感器融合策略能够提升真实世界地点识别中的泛化能力与鲁棒性？
• RQ3 模拟到真实迁移与少样本学习在多大程度上可实现仅用极少真实世界训练数据即获得高精度重定位？
• RQ4 标准化基准与评估框架在提升长期地点识别研究可比性与进展方面发挥何种作用？
• RQ5 地点识别在支持非结构化环境中自主机器人终身、持续感知与导航方面扮演何种关键角色？

主要发现

• 多模态传感器融合——特别是视觉、LiDAR与雷达的结合——显著提升了对环境变化和传感器特异性局限的鲁棒性。
• 采用360°感知卷积与Transformer注意力机制的深度学习特征提取器在视角不变的地点识别中实现了高精度。
• 模拟到真实域自适应技术可在仅使用数公里真实世界训练数据的情况下，实现数百公里范围内的高精度重定位。
• 所提出的评估API与新数据集（如城市级与室内长期定位）为不同方法的公平比较提供了标准化基准。
• 可靠的地点识别使复杂环境中的长期导航成为可能，包括无GPS环境（如地下或地外表面）。
• 将地点识别集成到SLAM与多智能体系统中，可增强数据关联、定位与持续感知能力。