[论文解读] DyOb-SLAM : Dynamic Object Tracking SLAM System

Rushmian Annoy Wadud, Wei Sun|arXiv (Cornell University)|Nov 3, 2022

Robotics and Sensor-Based Localization被引用 5

一句话总结

DyOb-SLAM 是一种视觉 SLAM 系统，通过结合 Mask-RCNN 进行语义分割和稠密光流进行运动估计，实现实时相机定位、静态环境建图以及动态物体跟踪。其动态物体速度误差低于 VDO-SLAM，尽管由于端到端神经分割和计算开销导致姿态误差略有升高，但仍表现出更优的动态物体速度估计性能。

ABSTRACT

Simultaneous Localization & Mapping (SLAM) is the process of building a mutual relationship between localization and mapping of the subject in its surrounding environment. With the help of different sensors, various types of SLAM systems have developed to deal with the problem of building the relationship between localization and mapping. A limitation in the SLAM process is the lack of consideration of dynamic objects in the mapping of the environment. We propose the Dynamic Object Tracking SLAM (DyOb-SLAM), which is a Visual SLAM system that can localize and map the surrounding dynamic objects in the environment as well as track the dynamic objects in each frame. With the help of a neural network and a dense optical flow algorithm, dynamic objects and static objects in an environment can be differentiated. DyOb-SLAM creates two separate maps for both static and dynamic contents. For the static features, a sparse map is obtained. For the dynamic contents, a trajectory global map is created as output. As a result, a frame to frame real-time based dynamic object tracking system is obtained. With the pose calculation of the dynamic objects and camera, DyOb-SLAM can estimate the speed of the dynamic objects with time. The performance of DyOb-SLAM is observed by comparing it with a similar Visual SLAM system, VDO-SLAM and the performance is measured by calculating the camera and object pose errors as well as the object speed error.

研究动机与目标

• 解决传统 SLAM 系统假设环境静态且忽略动态物体的局限性。
• 开发一种实时视觉 SLAM 系统，能够同时跟踪和建图静态与动态元素。
• 相比现有动态感知 SLAM 系统（如 VDO-SLAM），提升物体速度估计的准确性。
• 将语义分割与运动估计直接集成到 SLAM 流程中，以实现对动态物体的鲁棒处理。

提出的方法

• 利用 Mask-RCNN 对动态物体进行实例级语义分割，实现与静态场景元素的分离。
• 采用稠密光流和场景光流算法，估算连续帧之间动态物体的运动矢量。
• 维护两个独立的地图：使用 Bundle Adjustment 的静态特征稀疏地图，以及用于动态物体的全局轨迹地图。
• 应用部分批次优化进行局部地图更新，全批次优化用于最终全局地图精炼。
• 集成物体 ID 分配与边界框跟踪，实现逐帧的动态物体位姿与速度估计。
• 实时处理输入帧，将检测到的物体标注速度值与视觉注释，如输出帧所示。

实验结果

研究问题

• RQ1 视觉 SLAM 系统能否有效区分并跟踪动态物体，同时保持准确的相机定位与静态地图重建？
• RQ2 使用 Mask-RCNN 的端到端语义分割对 SLAM 中动态物体位姿与速度估计的准确性有何影响？
• RQ3 在 SLAM 流程中集成如 Mask-RCNN 等深度学习模型时，计算成本与跟踪精度之间的权衡如何？
• RQ4 在深度模糊与遮挡等挑战性条件下，DyOb-SLAM 与 VDO-SLAM 在物体速度估计误差方面有何差异？
• RQ5 基于神经网络的分割在真实动态环境中在多大程度上提升了动态物体跟踪性能？

主要发现

• DyOb-SLAM 的平均相机位姿与物体位姿误差略高于 VDO-SLAM，平移误差差异为 0.003–0.005，旋转误差差异为 0.007–0.017。
• 物体位姿误差的平移差异为 0.009–0.03，旋转差异为 0.05–0.17，首次迭代的误差高于后续迭代。
• 尽管位姿误差较高，DyOb-SLAM 的物体速度误差显著更低，优于 VDO-SLAM 0.96–1.20 的范围，表明其速度估计性能更优。
• 当动态物体距离较近时，深度模糊导致重叠深度值，引发分割与跟踪错误。
• 与依赖预处理真实分割的 VDO-SLAM 相比，Mask-RCNN 的集成显著增加了计算开销。
• 物体速度按帧计算并在边界框中显示；然而，当物体超出深度量程时，跟踪失败，导致连续速度测量受限。