[论文解读] Semantic Visual Simultaneous Localization and Mapping: A Survey

Kaiqi Chen, Xiao, Junhao+7 more|arXiv (Cornell University)|Sep 14, 2022

Robotics and Sensor-Based Localization被引用 9

一句话总结

本综述全面概述了语义视觉SLAM（vSLAM），回顾了语义信息提取与关联的方法、在定位与制图中的应用，以及最先进的数据集。它将语义vSLAM与传统vSLAM进行比较，突出展示了通过基于深度学习的语义理解与多模态融合，在动态和复杂环境中实现的鲁棒性与精度提升。

ABSTRACT

Visual Simultaneous Localization and Mapping (vSLAM) has achieved great progress in the computer vision and robotics communities, and has been successfully used in many fields such as autonomous robot navigation and AR/VR. However, vSLAM cannot achieve good localization in dynamic and complex environments. Numerous publications have reported that, by combining with the semantic information with vSLAM, the semantic vSLAM systems have the capability of solving the above problems in recent years. Nevertheless, there is no comprehensive survey about semantic vSLAM. To fill the gap, this paper first reviews the development of semantic vSLAM, explicitly focusing on its strengths and differences. Secondly, we explore three main issues of semantic vSLAM: the extraction and association of semantic information, the application of semantic information, and the advantages of semantic vSLAM. Then, we collect and analyze the current state-of-the-art SLAM datasets which have been widely used in semantic vSLAM systems. Finally, we discuss future directions that will provide a blueprint for the future development of semantic vSLAM.

研究动机与目标

• 系统性回顾语义vSLAM的发展历程及其在动态和复杂环境相较于传统vSLAM的优势。
• 分析语义信息提取、关联与利用在vSLAM系统中的关键挑战。
• 收集、评估并比较30个与语义vSLAM研究相关的开源SLAM数据集。
• 识别并讨论语义vSLAM中的开放问题与未来研究方向，尤其关注多模态传感与多机器人协作。
• 对30种语义vSLAM系统进行详细比较，强调其技术方法与性能特征。

提出的方法

• 对基于深度学习的语义信息提取方法进行分类与回顾，包括目标检测、语义分割与实例分割。
• 分析利用几何与语义约束（如距离、方向、外观）将时间与视角间观测结果关联的语义关联技术。
• 评估语义信息在vSLAM流程中的集成，以提升定位与制图性能，包括像素级与物体级语义地图的构建。
• 基于语义标注、传感器配置及其在语义vSLAM研究中的适用性，对30个开源SLAM数据集进行回顾与分类。
• 从精度、鲁棒性与计算负载角度，对比传统vSLAM与语义vSLAM，突出在复杂环境中的性能提升。
• 探讨新兴趋势，如多模态传感器融合（例如RGB-D、激光雷达、雷达、事件相机）以及多机器人协作式语义vSLAM系统。

实验结果

研究问题

• RQ1 在动态与纹理缺失环境中，语义vSLAM系统相较于传统vSLAM在定位精度与鲁棒性方面有何提升？
• RQ2 在实时vSLAM系统中，哪些基于深度学习的方法在语义信息提取与关联方面最为有效？
• RQ3 当存在同类别多个物体或被遮挡物体时，物体关联与语义地图一致性面临哪些关键挑战？
• RQ4 多模态传感器融合与多机器人协作如何提升语义vSLAM系统的性能与可靠性？
• RQ5 当前语义vSLAM在传感器融合、实时处理以及跨环境泛化方面存在哪些局限性与开放研究方向？

主要发现

• 通过利用基于深度学习感知的语义约束，语义vSLAM系统显著提升了在动态与纹理缺失环境中的定位鲁棒性。
• 目标检测、语义分割与实例分割是语义信息提取的主要深度学习技术，其中实例分割提供了最精确的物体级理解。
• 语义信息的集成使得像素级与物体级语义地图的构建成为可能，从而增强了场景理解与导航能力。
• 多模态传感器融合（如结合RGB、深度、激光雷达、雷达与事件相机）可提升物体识别能力，并减少在遮挡或光照变化下的关联歧义。
• 多机器人协作式语义vSLAM系统得益于多视角观测，提升了物体关联与全局一致性，但同时带来了更高的计算与同步复杂度。
• 本综述识别出30种具有代表性的语义vSLAM系统与30个相关SLAM数据集，其中近期研究（2018–2022年）主要聚焦于端到端学习、实时性能以及真实场景下的鲁棒性。