[论文解读] Every Pixel Counts ++: Joint Learning of Geometry and Motion with 3D Holistic Understanding

Chenxu Luo, Zhenheng Yang+5 more|arXiv (Cornell University)|Oct 14, 2018

Advanced Vision and Imaging参考文献 84被引用 29

一句话总结

本文提出EPC++，一种无监督深度学习框架，通过在所有像素（包括运动物体和遮挡区域）上强制执行几何一致性，联合估计三维几何（深度）、相机运动和光流。通过将深度、运动和光流预测整合到一个整体的三维运动解析器和自适应一致性损失中，EPC++在KITTI、Make3D和MPI Sintel数据集上的深度估计、光流、里程计、运动物体分割和场景光流任务中均实现了最先进性能。

ABSTRACT

Learning to estimate 3D geometry in a single frame and optical flow from consecutive frames by watching unlabeled videos via deep convolutional network has made significant progress recently. Current state-of-the-art (SoTA) methods treat the two tasks independently. One typical assumption of the existing depth estimation methods is that the scenes contain no independent moving objects. while object moving could be easily modeled using optical flow. In this paper, we propose to address the two tasks as a whole, i.e. to jointly understand per-pixel 3D geometry and motion. This eliminates the need of static scene assumption and enforces the inherent geometrical consistency during the learning process, yielding significantly improved results for both tasks. We call our method as "Every Pixel Counts++" or "EPC++". Specifically, during training, given two consecutive frames from a video, we adopt three parallel networks to predict the camera motion (MotionNet), dense depth map (DepthNet), and per-pixel optical flow between two frames (OptFlowNet) respectively. The three types of information are fed into a holistic 3D motion parser (HMP), and per-pixel 3D motion of both rigid background and moving objects are disentangled and recovered. Comprehensive experiments were conducted on datasets with different scenes, including driving scenario (KITTI 2012 and KITTI 2015 datasets), mixed outdoor/indoor scenes (Make3D) and synthetic animation (MPI Sintel dataset). Performance on the five tasks of depth estimation, optical flow estimation, odometry, moving object segmentation and scene flow estimation shows that our approach outperforms other SoTA methods. Code will be available at: https://github.com/chenxuluo/EPC.

研究动机与目标

• 解决现有方法将深度估计与光流视为独立任务的局限性，尤其是在存在运动物体的非刚性场景条件下。
• 通过联合建模三维几何与运动，消除无监督深度估计中常见的静态场景假设。
• 通过使用整体三维运动解析器在深度、运动和光流预测之间强制执行几何一致性，提升泛化能力和鲁棒性。
• 通过利用多任务一致性，实现在无显式监督的情况下准确进行运动物体分割和场景光流估计。

提出的方法

• 该框架使用三个并行网络：MotionNet用于自运动估计，DepthNet用于密集深度图预测，OptFlowNet用于连续帧之间的光流预测。
• 整体三维运动解析器（HMP）将每个像素的三维运动解耦为刚性背景、非刚性物体运动和遮挡区域。
• 引入自适应一致性损失，根据可见性和运动刚性程度动态调整来自深度和光流的监督权重，从而提升泛化能力。
• 训练策略自适应地平衡各任务之间的损失，提升几何与运动估计的收敛性和性能。
• 通过可微变形（differentiable warping）进行视图合成，利用源帧与目标帧之间的光度一致性来监督深度和光流。
• 通过阈值化可见性图（M_d > 3）生成二值分割掩码，实现精确的运动物体检测。

实验结果

研究问题

• RQ1 与独立或两任务学习相比，联合学习深度、运动和光流是否能提升所有三项任务的性能？
• RQ2 如何在存在运动物体和遮挡的场景中，通过强制执行深度、运动与光流之间的几何一致性来提升鲁棒性？
• RQ3 是否可以通过一种自适应一致性损失，使不同区域（如非遮挡区域使用光流、遮挡区域使用深度）的优势得以发挥，从而优于统一的跨任务一致性？
• RQ4 单目监督在多大程度上能实现与基于立体的方法在深度和运动估计中相当的性能？
• RQ5 该联合框架是否能在无真实标签的情况下实现准确的运动物体分割和场景光流估计？

主要发现

• EPC++在KITTI 2012、KITTI 2015、Make3D和MPI Sintel数据集上的深度估计、光流、里程计和运动物体分割任务中均实现了最先进性能。
• 在KITTI 2015数据集上，EPC++（单目）的前景分割平均交并比（IoU）达到0.50，优于先前工作的可解释性掩码（0.38）和EPC（0.52）。
• 单目EPC++模型的性能与基于立体的EPC相当，平均IoU为0.53 vs. 0.52，证明了联合建模在存在尺度模糊性情况下的有效性。
• 在场景光流评估中，EPC++（单目）在背景区域取得30.67的D1分数，在前景区域取得34.38，优于先前最先进方法EPC（立体）的23.62和27.38。
• 自适应训练策略显著加快收敛速度并提升泛化能力，表现为所有任务和数据集上的性能均得到改善。
• 整体三维运动解析器成功解耦了刚性、非刚性和遮挡区域，实现了精确的像素级运动理解。