[论文解读] Driven to Distraction: Self-Supervised Distractor Learning for Robust Monocular Visual Odometry in Urban Environments

Dan Barnes, Will Maddern+2 more|arXiv (Cornell University)|Nov 17, 2017

Video Surveillance and Tracking Methods参考文献 24被引用 5

一句话总结

本文提出一种自监督方法，通过多时段3D地图数据学习像素级瞬态性掩码（识别静态与动态场景区域），从而在城市环境中实现鲁棒的单目视觉里程计。通过在视觉里程计（VO）流水线中利用学习到的深度和瞬态性进行异常值剔除，该方法可减少里程计漂移，并在图像90%被移动车辆遮挡的情况下仍保持精确的运动估计。

ABSTRACT

We present a self-supervised approach to ignoring "distractors" in camera images for the purposes of robustly estimating vehicle motion in cluttered urban environments. We leverage offline multi-session mapping approaches to automatically generate a per-pixel ephemerality mask and depth map for each input image, which we use to train a deep convolutional network. At run-time we use the predicted ephemerality and depth as an input to a monocular visual odometry (VO) pipeline, using either sparse features or dense photometric matching. Our approach yields metric-scale VO using only a single camera and can recover the correct egomotion even when 90% of the image is obscured by dynamic, independently moving objects. We evaluate our robust VO methods on more than 400km of driving from the Oxford RobotCar Dataset and demonstrate reduced odometry drift and significantly improved egomotion estimation in the presence of large moving vehicles in urban traffic.

研究动机与目标

• 解决在大型移动物体（如公交车）主导视觉特征的城市环境中运动估计失败的挑战。
• 克服传统基于RANSAC的异常值剔除方法在动态物体形成大规模共识时失效的局限性。
• 开发一种自监督方法，无需人工标注或预定义语义类别即可学习瞬态性掩码。
• 仅使用单个单目相机实现在复杂动态城市环境中的度量尺度视觉里程计。
• 将瞬态性和深度预测集成到VO流水线中，以抑制干扰因素并提升运动估计的鲁棒性。

提出的方法

• 使用配备激光雷达的测绘车辆进行多时段遍历，构建大规模3D地图，其中包含像素级的深度和瞬态性标签。
• 使用离线生成的深度和瞬态性数据作为监督信号，训练深度卷积网络，无需人工标注。
• 通过跨时段多视角深度一致性计算的结构熵度量来定义瞬态性。
• 运行时，使用训练好的网络从单张单目图像中推断瞬态性和深度。
• 将预测的瞬态性掩码和深度集成到单目VO流水线中，采用稀疏特征或密集光度匹配方法。
• 将瞬态性掩码用作空间滤波器，在运动估计过程中剔除动态物体上的特征。

实验结果

研究问题

• RQ1 自监督深度学习方法能否在无需人工标注或语义类别定义的情况下学习像素级瞬态性掩码？
• RQ2 所学习的瞬态性和深度在重动态交通的城市环境中能在多大程度上改善单目视觉里程计？
• RQ3 在大型移动物体遮挡条件下，与基线VO系统相比，该方法在漂移和速度估计精度方面表现如何？
• RQ4 当图像中超过90%被独立移动的车辆遮挡时，该方法能否保持鲁棒的运动估计？
• RQ5 与标准VO相比，集成瞬态性掩码是否能显著降低存在干扰物时的速度估计误差？

主要发现

• 基于瞬态性感知的稀疏VO方法将牛津RobotCar数据集上400公里驾驶过程中的平均平移漂移从6.55%降低至6.38%。
• 同一方法将旋转漂移从0.0353 deg/m降低至0.0321 deg/m，表现出更高的角度稳定性。
• 在存在干扰物的情况下，稀疏瞬态性感知VO将速度误差从0.220 m/s降低至0.0489 m/s，改善超过80%。
• 在干扰物密集的场景中，密集瞬态性感知VO将速度误差从0.766 m/s降低至0.424 m/s，表现出显著鲁棒性。
• 瞬态性掩码成功识别出公交车、卡车和行人等动态物体，即使它们完全遮挡了场景。
• 该方法仅使用单目相机实现了度量尺度的视觉里程计，推理时无需实时深度感知或预先的地图匹配。