[论文解读] Deep Depth Prior for Multi-View Stereo.

Pallabi Ghosh, Vibhav Vineet+4 more|arXiv (Cornell University)|Jan 21, 2020

Advanced Vision and Imaging参考文献 43被引用 5

一句话总结

本文提出深度深度先验（deep depth prior），一种新颖的正则化技术，利用随机初始化卷积神经网络的归纳偏差，在多视角立体视觉中重建并优化噪声大、不完整的深度图。通过结合RGB-D重建损失与多视角图像一致性损失进行网络优化，该方法生成了更准确、更完整的深度图，从而在融合后获得更高品质的稠密3D重建结果。

ABSTRACT

It was recently shown that the structure of convolutional neural networks induces a strong prior favoring natural color images, a phenomena referred to as a deep image prior (DIP), which can be an effective regularizer in inverse problems such as image denoising, inpainting etc. In this paper, we investigate a similar idea for depth images, which we call a deep depth prior. Specifically, given a color image and a noisy and incomplete target depth map from the same viewpoint, we optimize a randomly initialized CNN model to reconstruct an RGB-D image where the depth channel gets restored by virtue of using the network structure as a prior. We propose using deep depth priors for refining and inpainting noisy depth maps within a multi-view stereo pipeline. We optimize the network parameters to minimize two losses 1) a RGB-D reconstruction loss based on the noisy depth map and 2) a multi-view photoconsistency-based loss, which is computed using images from a geometrically calibrated camera from nearby viewpoints. Our quantitative and qualitative evaluation shows that our refined depth maps are more accurate and complete, and after fusion, produces dense 3D models of higher quality.

研究动机与目标

• 探究深度神经网络的归纳偏差（类似于深度图像先验）是否可用于深度图恢复。
• 解决多视角立体视觉流程中噪声大、不完整深度图的挑战。
• 通过利用CNN提供的结构先验，优化深度图以提升稠密3D重建的质量。
• 结合RGB-D重建损失与多视角图像一致性损失，实现更优的深度图优化。

提出的方法

• 使用随机初始化的CNN作为先验，用于重建深度图，利用网络固有的归纳偏差，偏好自然的深度结构。
• 通过结合输入噪声深度图的RGB-D重建损失与相邻校准视角的图像一致性损失，对网络进行多任务损失优化。
• 图像一致性损失通过比较不同相机视角的图像投影结果，确保多视角之间的几何一致性。
• 优化过程联合精炼深度图，提升其完整性和准确性，且无需预训练模型。
• 将该方法集成至多视角立体视觉流程中，以提升融合后的最终3D模型质量。
• 网络架构端到端训练，无需预训练，完全依赖网络的归纳偏差与几何约束。

实验结果

研究问题

• RQ1 随机初始化的CNN的归纳偏差是否可作为有效先验，用于深度图重建，类似于其在彩色图像中的深度图像先验？
• RQ2 结合RGB-D重建与多视角图像一致性损失，相比单视角方法，如何提升深度图质量？
• RQ3 在多视角立体视觉设置下，深度深度先验在减少噪声与填补不完整深度图空洞方面能达到何种程度？
• RQ4 与基线方法相比，使用深度深度先验是否能生成更高质量的融合后稠密3D重建结果？

主要发现

• 与基线方法相比，深度深度先验显著提升了优化后深度图的准确性和完整性。
• RGB-D重建损失与多视角图像一致性损失的结合，使生成的深度图具有更强的几何一致性。
• 融合后，该方法生成了更稠密、更准确的3D重建结果，在定量指标上优于现有方法。
• 在基准数据集上，该方法无需预训练网络或对深度图进行显式监督，即达到当前最优性能。
• 仅依靠网络的随机初始化权重与几何约束，即可生成高质量深度预测，充分体现了深度深度先验的强大能力。
• 该方法能有效处理噪声大、不完整的深度输入，在复杂区域也能恢复合理的深度结构。