[论文解读] Generalized Binary Search Network for Highly-Efficient Multi-View Stereo

Zhenxing Mi, Di Chang+1 more|arXiv (Cornell University)|Dec 4, 2021

Advanced Vision and Imaging被引用 7

一句话总结

本文提出GBi-Net，一种用于高效率多视角立体视觉（MVS）的广义二分搜索网络，通过将深度估计建模为深度范围上的二分搜索，显著降低了内存使用量。通过在每个阶段仅采样少数几个深度假设，并结合容错分箱、分类与阶段式梯度更新机制，该方法在DTU（综合得分0.289）和Tanks and Temples数据集上均实现了最先进（SOTA）的精度表现，同时显著降低内存占用并加快训练速度。

ABSTRACT

Multi-view Stereo (MVS) with known camera parameters is essentially a 1D search problem within a valid depth range. Recent deep learning-based MVS methods typically densely sample depth hypotheses in the depth range, and then construct prohibitively memory-consuming 3D cost volumes for depth prediction. Although coarse-to-fine sampling strategies alleviate this overhead issue to a certain extent, the efficiency of MVS is still an open challenge. In this work, we propose a novel method for highly efficient MVS that remarkably decreases the memory footprint, meanwhile clearly advancing state-of-the-art depth prediction performance. We investigate what a search strategy can be reasonably optimal for MVS taking into account of both efficiency and effectiveness. We first formulate MVS as a binary search problem, and accordingly propose a generalized binary search network for MVS. Specifically, in each step, the depth range is split into 2 bins with extra 1 error tolerance bin on both sides. A classification is performed to identify which bin contains the true depth. We also design three mechanisms to respectively handle classification errors, deal with out-of-range samples and decrease the training memory. The new formulation makes our method only sample a very small number of depth hypotheses in each step, which is highly memory efficient, and also greatly facilitates quick training convergence. Experiments on competitive benchmarks show that our method achieves state-of-the-art accuracy with much less memory. Particularly, our method obtains an overall score of 0.289 on DTU dataset and tops the first place on challenging Tanks and Temples advanced dataset among all the learning-based methods. The trained models and code will be released at https://github.com/MiZhenxing/GBi-Net.

研究动机与目标

• 解决基于深度学习的MVS方法中3D代价体积带来的高内存占用问题，该问题限制了模型的可扩展性与训练效率。
• 探究离散搜索策略（特别是二分搜索）是否能在MVS中实现效率与精度之间的最优权衡。
• 在不损失深度预测精度的前提下，减少每个阶段的深度假设数量，从而实现更快的训练与推理速度。
• 设计机制以处理分类错误、超出范围的预测以及在多阶段二分搜索框架下的内存高效训练。
• 在标准基准测试上实现最先进性能，同时大幅降低模型内存消耗。

提出的方法

• 将MVS建模为广义二分搜索问题：在每个阶段，将深度范围划分为两个分箱，并在每侧增加一个容错分箱以处理分类错误。
• 以两个分箱的中心点作为代表性深度值，构建3D代价体积，从而最小化每个阶段的假设数量。
• 引入一种训练机制：当像素的预测结果超出分箱范围时，中止其前向传播，并从反向传播中排除其梯度，以稳定训练过程。
• 在每个阶段立即执行梯度更新，而非跨阶段累积，从而加速收敛并提升优化稳定性。
• 通过概率体积在多个阶段间计算光度一致性，最终使用一致性得分对深度图进行过滤，以去除异常值。
• 在计算一致性得分前，将概率体积上采样至最高分辨率，以确保多尺度优化与鲁棒性。

实验结果

研究问题

• RQ1 能否有效将二分搜索策略适配于MVS，以最小化深度假设数量，同时保持高精度？
• RQ2 如何在不增加内存或计算成本的前提下，缓解二分搜索中的分类错误？
• RQ3 在MVS中采用从粗到精的二分搜索时，需要何种训练机制以稳定优化过程？
• RQ4 广义二分搜索框架是否能在精度与内存效率两方面超越密集采样或从粗到精采样策略？
• RQ5 在低假设数量的框架下，跨阶段的光度一致性在多大程度上能提升深度图质量并实现异常值过滤？

主要发现

• GBi-Net在DTU数据集上取得了0.289的最先进综合得分，优于所有先前基于学习的MVS方法。
• 在具有挑战性的Tanks and Temples高级基准测试中，GBi-Net在所有基于学习的方法中排名第一，展现出卓越的泛化能力与精度。
• 通过每个阶段仅采样少数几个深度假设，该方法将3D代价体积大小压缩至极低水平，显著降低了GPU内存使用量。
• 由于采用即时梯度更新与更小的假设空间，训练过程收敛更快，提升了训练效率。
• 从多个阶段计算出的光度一致性图能有效过滤背景异常值与噪声预测，尤其在深度范围较大的场景中表现突出。
• 定性结果表明，深度图质量在各阶段间快速提升，从阶段1到阶段8均呈现一致的改进趋势，验证了多阶段搜索策略的有效性。