[论文解读] Joint Unsupervised Learning of Optical Flow and Depth by Watching Stereo Videos

Yang Wang, Zhenheng Yang+4 more|arXiv (Cornell University)|Oct 8, 2018

Advanced Vision and Imaging参考文献 18被引用 14

一句话总结

该论文提出了一种统一的无监督框架，通过利用几何约束和相互监督，从立体视频中联合学习光流、深度和自运动。通过使用来自深度和自运动的刚性光流来监督静态区域中的光流，并通过一个刚性对齐模块优化自运动，该方法在KITTI数据集上实现了最先进性能，与之前无监督方法相比，光流误差降低了50%，并达到监督基线的水平。

ABSTRACT

Learning depth and optical flow via deep neural networks by watching videos has made significant progress recently. In this paper, we jointly solve the two tasks by exploiting the underlying geometric rules within stereo videos. Specifically, given two consecutive stereo image pairs from a video, we first estimate depth, camera ego-motion and optical flow from three neural networks. Then the whole scene is decomposed into moving foreground and static background by compar- ing the estimated optical flow and rigid flow derived from the depth and ego-motion. We propose a novel consistency loss to let the optical flow learn from the more accurate rigid flow in static regions. We also design a rigid alignment module which helps refine ego-motion estimation by using the estimated depth and optical flow. Experiments on the KITTI dataset show that our results significantly outperform other state-of- the-art algorithms. Source codes can be found at https: //github.com/baidu-research/UnDepthflow

研究动机与目标

• 通过利用立体视频联合学习两个任务，解决无监督深度和光流估计在动态场景中的局限性。
• 通过利用立体对之间的几何一致性和时间运动一致性，改进深度和自运动估计。
• 通过在静态区域中使用更可靠的刚性光流（来自深度和自运动）作为监督信号，提升光流估计的准确性。
• 通过一种新颖的刚性对齐模块，利用光流对应关系对点云进行刚性对齐，从而优化自运动估计。
• 通过利用光流与刚性光流差异来区分运动前景与静态背景，提升运动分割性能。

提出的方法

• 该框架使用三个深度神经网络，从两组连续的立体图像对中联合估计深度、光流和自运动。
• 通过比较估计的光流与从深度和自运动推导出的刚性光流，生成运动分割掩码，识别运动物体。
• 光流一致性模块强制光流在静态区域与刚性光流对齐，从而提升光流准确性。
• 刚性对齐模块通过刚性对齐由光流对应关系重建的3D点云，优化自运动估计。
• 该方法分三个阶段进行训练：仅立体图像的深度估计、结合时间一致性的自运动与光流优化，以及包含运动分割和模块集成的完整联合优化。
• 损失函数结合了立体一致性、光流重建以及运动分割感知损失，以提升泛化能力。

实验结果

研究问题

• RQ1 通过利用几何约束，能否通过从立体视频中联合学习深度和光流来提升性能？
• RQ2 如何利用来自深度和自运动的刚性光流来提升静态区域中光流估计的性能？
• RQ3 通过优化光流生成的点云对应关系，刚性对齐模块能否提升自运动估计性能？
• RQ4 基于光流与刚性光流差异的运动分割在多大程度上增强了系统的整体鲁棒性？
• RQ5 无监督立体视频学习能否在无真实标签监督的情况下实现与监督方法相当的性能？

主要发现

• 与之前最先进无监督方法相比，该方法在KITTI 2012数据集上的光流误差降低了50%，性能达到监督方法的水平。
• 在KITTI 2015深度估计任务中，完整模型优于所有先前的无监督立体方法，深度误差为0.56均值IoU和0.88加权频率IoU。
• 刚性对齐模块显著提升了自运动估计性能，降低了绝对轨迹误差，并优于未使用该模块的方法。
• 光流一致性模块使光流预测更加平滑，边界更加清晰，尤其在平面区域表现更优，如定性对比所示。
• 运动分割性能有所提升，均值IoU为0.56，像素准确率为0.82，表明在动态场景处理方面仍有改进空间。
• 消融实验表明，刚性对齐模块和光流一致性模块对深度、光流和里程计任务的最优性能均至关重要。