[论文解读] FlowFusion: Dynamic Dense RGB-D SLAM Based on Optical Flow

Tianwei Zhang, Huayan Zhang+3 more|arXiv (Cornell University)|Mar 11, 2020

Robotics and Sensor-Based Localization参考文献 21被引用 9

一句话总结

该论文提出FlowFusion，一种动态密集RGB-D SLAM系统，利用光流残差改进动态/静态分割，实现在动态环境中精确的相机位姿估计与静态背景重建。通过利用光流检测运动像素，FlowFusion在动态物体非刚性或未知的情况下，相较于最先进方法展现出更高的分割精度与鲁棒性。

ABSTRACT

Dynamic environments are challenging for visual SLAM since the moving objects occlude the static environment features and lead to wrong camera motion estimation. In this paper, we present a novel dense RGB-D SLAM solution that simultaneously accomplishes the dynamic/static segmentation and camera ego-motion estimation as well as the static background reconstructions. Our novelty is using optical flow residuals to highlight the dynamic semantics in the RGB-D point clouds and provide more accurate and efficient dynamic/static segmentation for camera tracking and background reconstruction. The dense reconstruction results on public datasets and real dynamic scenes indicate that the proposed approach achieved accurate and efficient performances in both dynamic and static environments compared to state-of-the-art approaches.

研究动机与目标

• 解决密集RGB-D SLAM中动态环境带来的挑战，即运动物体导致相机位姿估计与地图质量下降。
• 克服依赖预训练目标检测或语义分割方法的局限，避免对已知物体类别的依赖。
• 通过利用光流残差检测像素级运动，提升动态/静态分割的准确性。
• 实现在存在移动人员与物体的情况下，对静态环境进行鲁棒、实时的密集重建。
• 开发一种无需事先了解物体类型、可泛化于多种动态物体的无模型方法。

提出的方法

• 使用深度神经网络（PWC-Net）估计连续RGB帧之间的光流，以捕捉像素级运动。
• 通过比较预测的形变帧与真实帧，计算光流残差，以突出运动不一致性。
• 将这些残差用作动态区域的代理，为运动像素分配较高的残差值。
• 将基于光流残差的分割方法集成到密集RGB-D SLAM框架（基于ElasticFusion）中，实现相机追踪与重建的联合优化。
• 利用强度与深度数据进行鲁棒的相机位姿估计算法，初始化自运动，随后通过分割出的静态点进行迭代优化。
• 仅使用分割出的静态点进行静态背景重建，在融合过程中丢弃动态区域。

实验结果

研究问题

• RQ1 光流残差是否能在不依赖目标检测或语义分割的前提下，有效识别RGB-D序列中的动态区域？
• RQ2 与联合运动分割或场景流估计相比，基于光流残差的分割在精度与鲁棒性方面表现如何？
• RQ3 在一般动态环境中，无模型的、基于光流的动态分割方法是否能超越基于学习的目标检测方法？
• RQ4 光流残差对高度动态场景中相机位姿估计与密集重建质量有何影响？
• RQ5 该方法在具有复杂、不可预测动态运动的真实机器人平台上表现如何？

主要发现

• 在TUM RGB-D fr3/walking_xyz序列上，FlowFusion的ATE达到12 cm，在动态场景中优于SF、JF与HRPSlam，且未依赖目标检测。
• 与PoseFusion（PF）相比，该方法在靠近移动人类的区域（如桌子与椅子）减少了错误的静态重建，后者常将附着物体误判为前景。
• 在静态序列（fr1/xyz与fr1/desk2）上，FlowFusion的性能与ElasticFusion及其他基于EF的方法相当，证实了其在静态条件下的鲁棒性。
• FlowFusion在未知动态物体上表现出更优的泛化能力，而PF在人像不可见时（如在人形机器人平台上）则失效。
• 光流残差方法对快速或慢速运动的敏感性低于纯光流方法，尽管在极高运动速度下仍因光流估计误差而表现受限。
• 将光流残差集成到SLAM流水线中提升了分割精度，尤其在非刚性运动与部分遮挡场景中表现更优。