[论文解读] IterMVS: Iterative Probability Estimation for Efficient Multi-View Stereo

Fangjinhua Wang, Silvano Galliani+2 more|arXiv (Cornell University)|Dec 9, 2021

Advanced Vision and Imaging被引用 8

一句话总结

IterMVS 提出了一种轻量级、基于 GRU 的迭代概率估计算法，通过多尺度匹配特征在多轮迭代中逐步优化每像素的深度分布，实现了高分辨率多视角立体视觉，兼具卓越的效率与鲁棒性。该方法在 DTU 数据集上达到最先进性能，在 Tanks&Temples 和 ETH3D 数据集上实现了更优的泛化能力，且在内存占用与运行时间方面均优于先前方法。

ABSTRACT

We present IterMVS, a new data-driven method for high-resolution multi-view stereo. We propose a novel GRU-based estimator that encodes pixel-wise probability distributions of depth in its hidden state. Ingesting multi-scale matching information, our model refines these distributions over multiple iterations and infers depth and confidence. To extract the depth maps, we combine traditional classification and regression in a novel manner. We verify the efficiency and effectiveness of our method on DTU, Tanks&Temples and ETH3D. While being the most efficient method in both memory and run-time, our model achieves competitive performance on DTU and better generalization ability on Tanks&Temples as well as ETH3D than most state-of-the-art methods. Code is available at https://github.com/FangjinhuaWang/IterMVS.

研究动机与目标

• 解决基于 3D CNN 的多视角立体视觉（MVS）方法在高分辨率图像和大场景下的效率与可扩展性局限。
• 克服粗到细多阶段 MVS 方法中存在的误差传播与搜索范围受限问题。
• 开发一种内存与运行时间效率更高的方法，同时保持完整的深度范围分辨率，并对纹理缺失区域和遮挡等挑战性条件具有鲁棒性。
• 提升在 Tanks&Temples 和 ETH3D 等多样化基准上的泛化能力，此前置学习方法在此类场景下表现不佳。
• 集成置信度估计与视角权重学习，以增强深度预测的可靠性与一致性。

提出的方法

• 采用基于 GRU 的概率估计算法，将每像素的深度分布存储于其隐藏状态中，避免存储完整的 3D 概率体积。
• 在每次迭代中将多尺度匹配特征注入 GRU 隐藏状态，以迭代方式优化深度概率分布。
• 采用混合深度估计算法，结合分类（用于多模态分布）与回归（用于亚像素精度）。
• 学习像素级视角权重，以识别参考图像与源图像之间的共可见区域，提升匹配可靠性。
• 应用置信度过滤，设置阈值 τ=0.3，以在融合前剔除不确定的深度估计。
• 利用重投影一致性检查，参数设置为 δ=1 和 ε=0.01，以在多视角间验证深度估计。

实验结果

研究问题

• RQ1 基于循环与迭代的概率估计算法是否能在内存与运行时间上优于基于 3D CNN 的方法，实现高分辨率 MVS？
• RQ2 将深度分布维持在 GRU 隐藏状态中，是否能在多样化的真实场景中实现比粗到细方法更优的泛化能力？
• RQ3 混合分类-回归深度估计算法是否能有效处理多模态深度分布，同时保持亚像素精度？
• RQ4 所学习的像素级视角权重在遮挡或反光区域中，能在多大程度上提升匹配可靠性？
• RQ5 置信度估计是否可被有效利用，以提升迭代深度优化过程中的鲁棒性与效率？

主要发现

• IterMVS 在所有基于学习的 MVS 方法中实现了最高的效率，优于 PatchmatchNet 及其他最先进方法。
• 在 DTU 基准上，IterMVS 达到具有竞争力的性能，F 分数与先前方法相当或更优，同时显著降低内存占用与推理时间。
• 在 Tanks&Temples 与 ETH3D 上，IterMVS 展现出优于 PatchmatchNet 及其他多阶段方法的优越泛化能力，生成的重建结果更少噪声。
• 概率分布可视化显示，迭代优化过程有效抑制了局部极大值，并使分布收敛至单一、集中的峰值，从而随时间推移提升估计精度。
• 像素级视角权重可视化表明，模型能够学习将更高权重分配给共可见且具有纹理的区域，而对遮挡、反光或镜面表面分配更低权重。
• 采用 τ=0.3 的置信度过滤能有效剔除不可靠预测，显著提升最终深度图与点云的清晰度。