[论文解读] Computational Models for Multiview Dense Depth Maps of Dynamic Scene

Qifei Wang|arXiv (Cornell University)|Dec 8, 2015

Advanced Vision and Imaging参考文献 21被引用 4

一句话总结

该论文提出计算模型以解决动态场景中多视角密集深度图生成的关键挑战，包括同质模糊性、分辨率不匹配和精度不足问题。通过引入空间与时间解耦以减少模糊性，采用迭代滤波实现分辨率上采样，并利用多标签集能量最小化实现时间分辨率增强与一致性优化，显著提升了深度图质量，支持3D重建和视频编码等应用。

ABSTRACT

This paper reviews the recent progresses of the depth map generation for dynamic scene and its corresponding computational models. This paper mainly covers the homogeneous ambiguity models in depth sensing, resolution models in depth processing, and consistency models in depth optimization. We also summarize the future work in the depth map generation.

研究动机与目标

• 解决深度传感器中同质模糊性导致的多视角深度图在时间、空间和视图间的不稳定性。
• 解决低分辨率深度传感器与高分辨率彩色相机之间的分辨率不匹配问题。
• 通过随机与基于能量的模型优化时间、空间和视图间的一致性，提升深度图精度。
• 为动态场景应用（如3D重建和视频编码）实现高质量密集深度图生成。

提出的方法

• 使用分层De Bruijn二进制模块实现空间解耦，以解决多个RGB-D传感器中的同质模糊性。
• 通过循环运动引入相位偏移或采用时间复用硬件快门实现时间解耦，以分离多个RGB-D相机的信号。
• 在飞行时间（TOF）传感器中使用互质频率以避免同质模糊性，但受限于仅三个可用频段。
• 采用基于交叉视图参考的迭代滤波器实现多视角深度图上采样，通过涉及输入、输出和中间变量的矩阵方程进行建模。
• 基于运动矢量的深度传播结合Heaviside阶跃函数校正，以提升遮挡区域或低纹理区域的准确性。
• 将时间分辨率上转换建模为多标签能量最小化问题，基于运动矢量和光滑性约束从多个候选集选择深度值。

实验结果

研究问题

• RQ1 如何对多个深度传感器之间的同质模糊性进行建模与消除，以减少多视角深度图中的伪影？
• RQ2 哪些计算技术能有效实现空间与时间维度上的多视角深度图上采样，同时保持一致性？
• RQ3 如何优化运动矢量以提升在存在遮挡或低纹理区域的动态场景中深度传播的准确性？
• RQ4 能量最小化模型应如何扩展以处理多标签集，从而提升时间与视图间的一致性？

主要发现

• 分层De Bruijn二进制模块方法成功在不损失分辨率的前提下解耦了多个RGB-D传感器中的同质模糊性。
• 通过循环运动或时间复用快门实现的时间解耦可有效分离多个RGB-D相机的信号，但需后处理或时间校准。
• 基于交叉视图参考的多视角深度图迭代上采样滤波器显著提升了视频编码中的率失真性能。
• 采用Heaviside阶跃函数对运动矢量进行校正，可显著提升深度传播准确性，实现高达传感速率八倍的时间分辨率提升。
• 多标签能量最小化模型通过引入时间与视图间一致性，优于传统单标签模型，有效减少了动态场景中的不一致性。
• 研究中验证的混合相机系统生成的密集深度图被MPEG选为标准测试序列，证实了其实际应用价值与高质量表现。