[论文解读] Every Pixel Counts: Unsupervised Geometry Learning with Holistic 3D Motion Understanding

Zhenheng Yang, Peng Wang+3 more|arXiv (Cornell University)|Jun 27, 2018

Advanced Vision and Imaging参考文献 50被引用 10

一句话总结

该论文提出了一种自监督框架，通过联合建模相机自运动、像素级3D物体运动（场景光流）和运动物体分割，提升了单目深度估计与3D运动理解性能。通过可微分的整体3D运动解析器（HMP），该方法整合了光流、深度预测、相机位姿和分割掩码，以强制保持一致性，在KITTI 2015数据集上实现了深度、光流和运动物体分割任务的最先进性能。

ABSTRACT

Learning to estimate 3D geometry in a single image by watching unlabeled videos via deep convolutional network has made significant process recently. Current state-of-the-art (SOTA) methods, are based on the learning framework of rigid structure-from-motion, where only 3D camera ego motion is modeled for geometry estimation.However, moving objects also exist in many videos, e.g. moving cars in a street scene. In this paper, we tackle such motion by additionally incorporating per-pixel 3D object motion into the learning framework, which provides holistic 3D scene flow understanding and helps single image geometry estimation. Specifically, given two consecutive frames from a video, we adopt a motion network to predict their relative 3D camera pose and a segmentation mask distinguishing moving objects and rigid background. An optical flow network is used to estimate dense 2D per-pixel correspondence. A single image depth network predicts depth maps for both images. The four types of information, i.e. 2D flow, camera pose, segment mask and depth maps, are integrated into a differentiable holistic 3D motion parser (HMP), where per-pixel 3D motion for rigid background and moving objects are recovered. We design various losses w.r.t. the two types of 3D motions for training the depth and motion networks, yielding further error reduction for estimated geometry. Finally, in order to solve the 3D motion confusion from monocular videos, we combine stereo images into joint training. Experiments on KITTI 2015 dataset show that our estimated geometry, 3D motion and moving object masks, not only are constrained to be consistent, but also significantly outperforms other SOTA algorithms, demonstrating the benefits of our approach.

研究动机与目标

• 解决现有无监督深度估计方法假设场景为刚性的问题，通过显式建模非刚性、运动物体来改进。
• 通过引入像素级3D场景光流和遮挡感知的运动建模，提升深度估计的稳定性和准确性。
• 构建一个统一的、可微分的框架，联合优化深度、光流、相机运动和运动物体分割。
• 通过在训练过程中引入立体图像对，缓解单目视频中的深度-运动模糊性。
• 实现整体3D场景理解，使每个像素的运动均被显式解释，从而减少视图合成中的光度误差。

提出的方法

• 提出一种整体3D运动解析器（HMP），融合2D光流、预测的相机位姿、深度图和运动物体分割掩码。
• 利用相机位姿和目标深度计算刚性背景的3D运动，同时利用光流和双目深度计算全图像的3D场景光流，并引入遮挡建模。
• 施加可微分约束：在无遮挡的刚性区域，背景3D光流与全图3D光流的差异应为零；在运动物体区域，该差异应非零且具有空间平滑性。
• 基于这些约束设计多任务损失，端到端监督深度与运动网络。
• 将立体图像对引入单目训练流程，以缓解深度-运动模糊性并提升泛化能力。
• 采用双流架构，其中深度网络用于单图深度预测，运动网络用于相机位姿与物体掩码预测，光流网络作为辅助监督信号。

实验结果

研究问题

• RQ1 显式建模像素级3D物体运动是否能提升单目视频中存在运动物体时的无监督深度估计性能？
• RQ2 如何通过光流、深度与相机运动的一致性来强制约束，以稳定训练并提升几何估计性能？
• RQ3 与独立监督相比，联合学习深度、场景光流与运动物体分割能在多大程度上提升性能？
• RQ4 立体数据是否能通过消除深度-运动模糊性，提升单目无监督学习中的深度估计性能？
• RQ5 一种同时建模刚性背景与运动物体运动的整体3D运动解析器，是否能带来更准确、更稳定的几何重建？

主要发现

• 所提方法在KITTI 2015基准上达到最先进性能，在深度、场景光流与运动物体分割任务上均优于现有无监督与有监督方法。
• HMP模块显著提升了几何估计性能，在KITTI 2015场景光流基准上将D1误差降低至23.62，D2误差降低至27.38。
• 基于运动掩码的运动物体分割达到52.25%的平均IoU，优于基线方法（如基于残差光流的GMM为50.83%，可解释性掩码为41.95%）。
• 通过显式建模背景与运动物体的3D运动，模型减少了视图合成中的光度误差，从而实现更稳定的训练。
• 与仅使用单目数据的训练相比，联合使用立体图像能进一步提升性能，证明了多模态监督在无监督深度学习中的优势。
• 移除HMP模块或仅使用单目数据训练会导致性能显著下降，验证了整体3D运动解析的关键作用。