[论文解读] Cost Volume Pyramid Based Depth Inference for Multi-View Stereo

Jiayu Yang, Wei Mao+2 more|arXiv (Cornell University)|Dec 18, 2019

Advanced Vision and Imaging参考文献 43被引用 19

一句话总结

本文提出 CVP-MVSNet，一种基于代价体积金字塔的神经网络，用于多视角立体深度推断，通过迭代残差深度细化以自粗到精的方式构建代价体积。通过在每个金字塔层级构建紧凑且分辨率自适应的代价体积，该方法在基准数据集上保持或提升精度的同时，推理速度比最先进的模型（如 Point-MVSNet）快 6 倍。

ABSTRACT

We propose a cost volume-based neural network for depth inference from multi-view images. We demonstrate that building a cost volume pyramid in a coarse-to-fine manner instead of constructing a cost volume at a fixed resolution leads to a compact, lightweight network and allows us inferring high resolution depth maps to achieve better reconstruction results. To this end, we first build a cost volume based on uniform sampling of fronto-parallel planes across the entire depth range at the coarsest resolution of an image. Then, given current depth estimate, we construct new cost volumes iteratively on the pixelwise depth residual to perform depth map refinement. While sharing similar insight with Point-MVSNet as predicting and refining depth iteratively, we show that working on cost volume pyramid can lead to a more compact, yet efficient network structure compared with the Point-MVSNet on 3D points. We further provide detailed analyses of the relation between (residual) depth sampling and image resolution, which serves as a principle for building compact cost volume pyramid. Experimental results on benchmark datasets show that our model can perform 6x faster and has similar performance as state-of-the-art methods. Code is available at https://github.com/JiayuYANG/CVP-MVSNet

研究动机与目标

• 解决现有多视角立体网络使用固定分辨率代价体积所导致的高内存与计算成本问题。
• 通过自粗到精的迭代代价体积金字塔，对深度估计进行细化，以提升深度图的精度与效率。
• 基于图像分辨率建立深度采样分辨率选择的合理方法，以确保紧凑性与效率。
• 实现在降低 GPU 显存使用量与更快推理时间的前提下，进行高分辨率深度图推理。
• 为基于点的 MVS 网络（如 Point-MVSNet）提供一种轻量化、高效的替代方案，同时实现更优或相当的性能。

提出的方法

• 从输入视图构建图像金字塔，并在最粗分辨率层级使用在整个深度范围内的均匀采样构建完整代价体积。
• 在每个后续金字塔层级，基于当前深度估计在深度残差周围构建部分代价体积，实现局部化、迭代式细化。
• 深度残差搜索范围由源视图中的像素间隔决定，该间隔通过理论分析确定，关联深度采样分辨率与图像分辨率。
• 应用多尺度 3D CNN 对正则化代价体积进行处理，以强制实现局部平滑性并捕捉大感受野。
• 网络在金字塔层级之间共享特征，并使用重投影与特征获取技术，将源视图的特征对齐至参考视图。
• 最终通过从最粗分辨率开始、逐步细化至更精细细节的金字塔层级迭代细化，获得最终深度图。

实验结果

研究问题

• RQ1 如何在多视角立体中实现更高效、更紧凑的代价体积构建，同时保持高分辨率深度精度？
• RQ2 深度采样分辨率与图像分辨率之间应保持何种最优关系，以在不牺牲精度的前提下最小化计算成本？
• RQ3 在速度与精度方面，基于代价体积金字塔的迭代残差细化方法是否能优于基于点或固定分辨率代价体积的方法？
• RQ4 深度残差搜索中的像素间隔选择如何影响重建质量与计算效率？
• RQ5 代价体积金字塔框架是否能显著降低内存使用并实现更快推理，相比当前最先进方法处理高分辨率图像？

主要发现

• CVP-MVSNet 在推理速度上相比当前最先进方法 Point-MVSNet 实现 6 倍加速，同时在基准数据集上保持具有竞争力的性能。
• 在 DTU 数据集上，该方法在平均 f-score 方面优于 Point-MVSNet，并生成更平滑、更细节丰富的重建结果，尤其在边缘区域表现更优。
• 两层金字塔配置达到最佳精度，因为更深的金字塔会降低初始深度图的分辨率，从而损害性能。
• 最优像素间隔被确定为 0.5 至 1.0 像素之间；当间隔过小（0.25）或过大（2.0）时，性能均下降。
• 在 Tanks and Temples 数据集上，该方法的平均 f-score 比 Point-MVSNet 高 5%，且仅比 P-MVSNet 低 1%，尽管其融合流程更简单。
• 定性结果表明，与 Point-MVSNet 和 R-MVSNet 相比，CVP-MVSNet 在复杂结构（如屋檐边缘）中能捕捉到更多高频细节。