[论文解读] VDO-SLAM: A Visual Dynamic Object-aware SLAM System

Jun Zhang, Mina Henein+2 more|arXiv (Cornell University)|May 22, 2020

Robotics and Sensor-Based Localization参考文献 57被引用 110

一句话总结

VDO-SLAM 提出一个鲁棒的、基于特征的 SLAM 系统，通过利用语义信息与在 SE(3) 中的对象运动建模，联合定位相机、跟踪动态刚体对象，并构建时空地图。它提取对象速度，并在真实世界数据集上展示出对最先进方法的改进。

ABSTRACT

Combining Simultaneous Localisation and Mapping (SLAM) estimation and dynamic scene modelling can highly benefit robot autonomy in dynamic environments. Robot path planning and obstacle avoidance tasks rely on accurate estimations of the motion of dynamic objects in the scene. This paper presents VDO-SLAM, a robust visual dynamic object-aware SLAM system that exploits semantic information to enable accurate motion estimation and tracking of dynamic rigid objects in the scene without any prior knowledge of the objects' shape or geometric models. The proposed approach identifies and tracks the dynamic objects and the static structure in the environment and integrates this information into a unified SLAM framework. This results in highly accurate estimates of the robot's trajectory and the full SE(3) motion of the objects as well as a spatiotemporal map of the environment. The system is able to extract linear velocity estimates from objects' SE(3) motion providing an important functionality for navigation in complex dynamic environments. We demonstrate the performance of the proposed system on a number of real indoor and outdoor datasets and the results show consistent and substantial improvements over the state-of-the-art algorithms. An open-source version of the source code is available.

研究动机与目标

• 在动态环境中实现鲁棒的导航与建图，其中运动中的物体会影响 SLAM 的精度。
• 开发一个统一的估计框架，建模相机位姿、静态 3D 点、动态对象运动，以及对象级速度，而不需要事先的对象模型。
• 利用语义信息和密集特征表示来在遮挡情况下改善数据关联与跟踪。
• 展示在真实室内/室外数据集上的完整动态 SLAM 性能，并提供开源代码。

提出的方法

• 将动态 SLAM 表述为在 SE(3) 中对相机位姿、静态 3D 点和对象运动的联合估计问题。
• 使用对模型无关的 SE(3) 姿态变化来表示刚体对象运动，使点轨迹在帧间相关。
• 通过在图像平面上最小化三维-二维再投影误差并采用李代数参数化来估计相机位姿和对象运动。
• 联合细化光流、相机位姿和对象运动，以在遮挡情况下鲁棒地跟踪点。
• 构建一个因子图优化（批量或增量），包含 3D 点测量、里程计、对象运动因子和平滑运动先验。
• 维护包含静态结构和动态对象轨迹的全局地图，从而提取对象的速度。

实验结果

研究问题

• RQ1 如何在不依赖预定义对象模型的前提下，在统一的 SLAM 框架中对动态场景进行建模？
• RQ2 是否可以使用模型无关的表示从移动刚体的点轨迹中鲁棒地估计 SE(3) 对象运动？
• RQ3 将语义实例分割与密集特征跟踪相结合是否能改善动态 SLAM 的数据关联性和稳定性？
• RQ4 在真实数据集上，相机位姿、静态点和动态对象运动的联合优化相较于传统静态 SLAM 或双阶段 MOT 方法有何优势？

主要发现

• 系统能为动态对象提供准确的 SE(3) 运动估计，并从场景运动中恢复对象速度。
• 一个利用语义信息的鲁棒对象跟踪方法能够处理来自分割失败的间接遮挡。
• VDO-SLAM 在真实室内和室外数据集上相对于最先进方法显示出显著改进。
• 该方法提供一个完整的动态 SLAM 系统，能够同时估计相机位姿、静态/动态结构以及完整的 6 自由度对象运动。
• VDO-SLAM 的一个开源实现可供研究者使用。