[论文解读] DeepMVS: Learning Multi-view Stereopsis

Po‐Han Huang, Kevin Matzen+3 more|arXiv (Cornell University)|Apr 2, 2018

Advanced Vision and Imaging参考文献 32被引用 31

一句话总结

DeepMVS 提出了一种用于多视角立体重建的深度卷积神经网络，能够处理任意数量的无序、标定图像，以预测高质量的视差图。通过在逼真的合成数据集（MVS-Synth）上进行监督预训练，结合多层 VGG-19 特征，并采用带有跳跃连接的编码器-解码器架构与 DenseCRF 优化，DeepMVS 在纹理缺失区域和细结构区域表现出色，其在 ETH3D 基准测试中的几何误差更低，优于 DeMoN，且与 COLMAP 表现相当。

ABSTRACT

We present DeepMVS, a deep convolutional neural network (ConvNet) for multi-view stereo reconstruction. Taking an arbitrary number of posed images as input, we first produce a set of plane-sweep volumes and use the proposed DeepMVS network to predict high-quality disparity maps. The key contributions that enable these results are (1) supervised pretraining on a photorealistic synthetic dataset, (2) an effective method for aggregating information across a set of unordered images, and (3) integrating multi-layer feature activations from the pre-trained VGG-19 network. We validate the efficacy of DeepMVS using the ETH3D Benchmark. Our results show that DeepMVS compares favorably against state-of-the-art conventional MVS algorithms and other ConvNet based methods, particularly for near-textureless regions and thin structures.

研究动机与目标

• 解决传统 MVS 算法在处理纹理缺失区域、细结构和反光表面时的局限性。
• 开发一种基于深度学习的 MVS 方法，可处理任意数量的无序输入图像，且不受姿态或图像数量的约束。
• 通过结合合成数据与真实世界监督以及语义特征融合，提升视差预测的鲁棒性与准确性。
• 证明端到端学习结合多尺度特征聚合与 CRF 优化可超越传统光度优化方法。

提出的方法

• 该方法利用已知的相机姿态与标定参数，从参考图像及其邻近视图构建平面扫掠体积。
• 采用类似 U-Net 的编码器-解码器网络结构，通过跳跃连接聚合大范围空间区域的特征，以预测视差图。
• 将预训练的 VGG-19 特征融合至解码器中，以提供语义上下文并改善特征表示。
• 网络首先在 MVS-Synth 数据集（包含 120 个城市场景的大规模逼真合成数据集）上进行预训练，随后在真实数据上进行微调。
• 通过最大池化层融合所有邻近视图的特征，生成最终的视差预测，确保对输入顺序的不变性。
• 通过后处理的 DenseCRF 优化步骤降低噪声并改善边缘对齐，尤其在低置信度区域（如反光表面）表现更优。

实验结果

研究问题

• RQ1 深度学习模型是否能在纹理缺失区域和细结构区域实现优于传统 MVS 方法的视差估计？
• RQ2 在逼真的合成数据集上进行预训练是否能显著提升模型在真实世界 MVS 基准上的泛化能力与性能？
• RQ3 来自预训练 VGG-19 网络的多层语义特征在多大程度上提升了视差预测的准确性？
• RQ4 将编码器-解码器架构与跳跃连接及 DenseCRF 优化相结合，对视差图质量有何影响？
• RQ5 深度学习模型是否能有效处理任意数量的无序输入图像，且不受姿态或图像数量的约束？

主要发现

• 在 ETH3D 基准测试中，DeepMVS 的几何误差为 0.036，光度误差为 0.224，整体性能优于 DeMoN，且与 COLMAP 表现相当。
• 在天空、墙壁和地板等困难区域，网络的预测精度显著优于 DeMoN，而传统方法在此类区域常出现失败。
• 使用 MVS-Synth 合成数据集可有效降低纹理缺失区域的误差，定性和定量消融分析表明，尤其在天空和反光表面的预测性能得到显著提升。
• 引入 VGG-19 特征与 DenseCRF 优化后，几何误差从 0.040 降低至 0.036，光度误差从 0.226 降低至 0.224，性能提升可测量。
• 消融实验证实，MVS-Synth 预训练、VGG 特征与 DenseCRF 优化各自独立地对性能提升有贡献。
• 尽管结果表现强劲，网络在植被区域仍存在困难，并受量化伪影影响，且推理速度受限于平面扫掠体积计算与深层网络规模。