[论文解读] Dense Depth Estimation of a Complex Dynamic Scene without Explicit 3D Motion Estimation

Suryansh Kumar, Ram Srivatsav Ghorakavi+2 more|arXiv (Cornell University)|Feb 11, 2019

Advanced Vision and Imaging参考文献 31被引用 12

一句话总结

本文提出了一种新颖的方法，仅使用稀疏深度先验和光流，在复杂动态场景中实现密集深度估计，通过将场景建模为局部平面并引入尽可能刚性（ARAP）约束，绕过了显式的3D运动估计。该方法以增量且高效的方式实现精确的深度图，在基准数据集上表现出色，无需SE(3)优化或逐物体运动估计。

ABSTRACT

Recent geometric methods need reliable estimates of 3D motion parameters to procure accurate dense depth map of a complex dynamic scene from monocular images \cite{kumar2017monocular, ranftl2016dense}. Generally, to estimate extbf{precise} measurements of relative 3D motion parameters and to validate its accuracy using image data is a challenging task. In this work, we propose an alternative approach that circumvents the 3D motion estimation requirement to obtain a dense depth map of a dynamic scene. Given per-pixel optical flow correspondences between two consecutive frames and, the sparse depth prior for the reference frame, we show that, we can effectively recover the dense depth map for the successive frames without solving for 3D motion parameters. Our method assumes a piece-wise planar model of a dynamic scene, which undergoes rigid transformation locally, and as-rigid-as-possible transformation globally between two successive frames. Under our assumption, we can avoid the explicit estimation of 3D rotation and translation to estimate scene depth. In essence, our formulation provides an unconventional way to think and recover the dense depth map of a complex dynamic scene which is incremental and motion free in nature. Our proposed method does not make object level or any other high-level prior assumption about the dynamic scene, as a result, it is applicable to a wide range of scenarios. Experimental results on the benchmarks dataset show the competence of our approach for multiple frames.

研究动机与目标

• 解决在3D运动估计易出错且计算成本高的复杂动态场景中实现精确密集深度估计的挑战。
• 克服现有几何方法依赖显式3D运动参数估计进行深度恢复的局限性。
• 开发一种利用稀疏深度先验和光流推断密集深度图的方法，实现增量式估计，无需求解SE(3)运动参数。
• 通过假设局部刚性与全局尽可能刚性变形，实现对真实场景动态的鲁棒深度估计。
• 为动态场景重建提供一种可扩展且高效的替代方案，以替代基于运动的结构自运动流程。

提出的方法

• 使用基于超像素的K近邻近似方法，将动态场景建模为一组局部平面表面，以定义平面块。
• 应用尽可能刚性（ARAP）约束，确保场景中相邻3D点之间的长度一致性，从而在类似刚性变换下最小化形变。
• 利用参考帧中的已知稀疏深度初始化各平面法向量，并通过ARAP优化将深度传播至下一帧。
• 将ARAP目标函数公式化，以最小化与刚性运动的偏差，同时保持相邻点之间3D欧氏距离的不变性。
• 引入基于变形范围先验知识（$d_{i au}$）的受限等距约束，以加速收敛并提升精度。
• 应用TRW-S优化以在平面边界处强制实现深度连续性，减少最终深度图中的块状伪影。

实验结果

研究问题

• RQ1 是否可以在不显式估计3D运动参数的情况下实现动态场景中的密集深度估计？
• RQ2 尽可能刚性（ARAP）约束在无需SE(3)优化的情况下，对真实世界动态场景形变的建模效果如何？
• RQ3 对场景变形范围的先验知识在多大程度上能提升深度估计的收敛速度与精度？
• RQ4 在复杂动态条件下，该方法与基于运动的方法在标准基准测试中的表现相比如何？
• RQ5 具有深度连续性约束的分段平面模型是否能在无需逐物体运动估计的情况下，生成视觉和定量上准确的深度图？

主要发现

• 所提方法在基准数据集上实现了与现有方法相当的深度估计精度，且无需显式估计3D运动参数。
• 结合长度一致性约束的ARAP公式化方法，即使在非刚性场景中也能实现稳定且精确的帧间深度传播。
• 引入受限等距约束（$| ilde{d}_i - d_i| < d_{i au}$）后，MPI Sintel数据集上每轮迭代的收敛时间减少近50%（从3.6秒降至1.72秒），同时保持相近的精度。
• 在受限等距约束下，该方法在60–70轮迭代内完成收敛，表明当具备先验变形范围时，优化过程快速且可靠。
• 尽管由于离散平面分解导致存在块状伪影，但基于TRW-S的平滑处理显著提升了深度连续性与视觉质量。
• 该方法对深度初始化中的中等噪声具有鲁棒性，但在突然出现或移除物体时表现不佳，此类情况需重新初始化。