[论文解读] M^3VSNet: Unsupervised Multi-metric Multi-view Stereo Network

Baichuan Huang, Hongwei Yi+4 more|arXiv (Cornell University)|Apr 21, 2020

Advanced Vision and Imaging参考文献 40被引用 10

一句话总结

M^3VSNet 提出了一种无监督多度量多视角立体视觉网络，通过结合像素级损失和多尺度特征级损失函数，以及法向-深度一致性正则化，提升了深度估计的鲁棒性和完整性。该方法在 DTU 数据集上达到了无监督方法的最先进性能，并在 Tanks & Temples 基准上超越了以往的无监督模型，展示了在无需微调的情况下对大规模真实世界场景的强大零样本泛化能力。

ABSTRACT

The present Multi-view stereo (MVS) methods with supervised learning-based networks have an impressive performance comparing with traditional MVS methods. However, the ground-truth depth maps for training are hard to be obtained and are within limited kinds of scenarios. In this paper, we propose a novel unsupervised multi-metric MVS network, named M^3VSNet, for dense point cloud reconstruction without any supervision. To improve the robustness and completeness of point cloud reconstruction, we propose a novel multi-metric loss function that combines pixel-wise and feature-wise loss function to learn the inherent constraints from different perspectives of matching correspondences. Besides, we also incorporate the normal-depth consistency in the 3D point cloud format to improve the accuracy and continuity of the estimated depth maps. Experimental results show that M3VSNet establishes the state-of-the-arts unsupervised method and achieves comparable performance with previous supervised MVSNet on the DTU dataset and demonstrates the powerful generalization ability on the Tanks and Temples benchmark with effective improvement. Our code is available at https://github.com/whubaichuan/M3VSNet.

研究动机与目标

• 为解决监督式 MVS 训练中缺乏可访问的真值深度图的问题，该问题限制了模型的泛化能力和可扩展性。
• 提升在纹理缺失、反光或重复区域等挑战性场景下无监督 MVS 重建的鲁棒性和完整性。
• 通过在三维世界坐标系中引入法向-深度一致性，提升深度图的准确性和连续性。
• 设计一种多度量损失函数，结合像素级和特征级匹配约束，以改善对应关系学习。
• 展示无监督 MVS 模型在无需领域特定微调的情况下，对大规模真实世界场景的强大零样本泛化能力。

提出的方法

• 提出一种新颖的多度量损失，结合像素级光度损失和使用 VGG16 特征的多尺度特征相似性损失。
• 利用预训练 VGG16 的多尺度特征图，捕捉低层次纹理和高层次语义信息，以保证匹配的一致性。
• 通过强制估计的表面法向与三维空间中局部深度梯度正交，引入法向-深度一致性正则化。
• 采用多尺度金字塔特征聚合，构建更具上下文信息的三维代价体积，以提升特征匹配性能。
• 仅使用多视角图像，以端到端无监督方式训练网络，无需任何真值深度监督。
• 在 Tanks & Temples 基准的深度融合过程中应用光度阈值（0.6），以平衡准确性和完整性。

实验结果

研究问题

• RQ1 结合像素相似性和特征相似性的多度量损失是否能够使无监督 MVS 性能超越仅依赖像素约束的方法？
• RQ2 引入法向-深度一致性对估计深度图的准确性和连续性有何影响？
• RQ3 无监督 MVS 模型在大规模真实世界场景（如 Tanks & Temples 基准）中的泛化能力能达到何种程度？
• RQ4 多尺度特征表示是否能提升在纹理缺失或反光区域的匹配鲁棒性？
• RQ5 所提方法是否能在无任何真值监督的情况下，实现与有监督 MVSNet 相当的性能？

主要发现

• 在 DTU 数据集上，M^3VSNet 达到了无监督 MVS 方法的最先进性能，平均误差为 0.566，阈值误差为 0.609。
• 在 Tanks & Temples 基准上，M^3VSNet 的平均得分为 37.67，排名高于 MVS²，并优于其他无监督方法。
• 在 Tanks & Temples 的 Playground 场景中，M^3VSNet 得分为 47.39，显著优于 MVS² 的 43.48。
• 该模型展现出强大的零样本泛化能力，在无需任何微调的情况下，成功生成大规模户外场景的高质量稠密点云。
• 与仅使用像素损失相比，引入多尺度特征相似性损失可显著减少在纹理缺失和反光区域的误匹配错误。
• 法向-深度一致性正则化提升了深度图的连续性和准确性，尤其在具有复杂表面几何结构的区域表现更优。