[论文解读] Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching

Xiaodong Gu, Zhiwen Fan+4 more|arXiv (Cornell University)|Dec 13, 2019

Advanced Vision and Imaging参考文献 54被引用 65

一句话总结

引入级联代价体积，通过逐步细化深度范围并使用多尺度特征金字塔，在降低内存和计算的同时实现高分辨率深度/视差估计。展示在 DTU 和 Tanks and Temples 上的最先进结果，具备显著的内存和速度提升。

ABSTRACT

The deep multi-view stereo (MVS) and stereo matching approaches generally construct 3D cost volumes to regularize and regress the output depth or disparity. These methods are limited when high-resolution outputs are needed since the memory and time costs grow cubically as the volume resolution increases. In this paper, we propose a both memory and time efficient cost volume formulation that is complementary to existing multi-view stereo and stereo matching approaches based on 3D cost volumes. First, the proposed cost volume is built upon a standard feature pyramid encoding geometry and context at gradually finer scales. Then, we can narrow the depth (or disparity) range of each stage by the depth (or disparity) map from the previous stage. With gradually higher cost volume resolution and adaptive adjustment of depth (or disparity) intervals, the output is recovered in a coarser to fine manner. We apply the cascade cost volume to the representative MVS-Net, and obtain a 23.1% improvement on DTU benchmark (1st place), with 50.6% and 74.2% reduction in GPU memory and run-time. It is also the state-of-the-art learning-based method on Tanks and Temples benchmark. The statistics of accuracy, run-time and GPU memory on other representative stereo CNNs also validate the effectiveness of our proposed method.

研究动机与目标

• 解决高分辨率 MVS 和立体匹配中3D成本体积的内存与时间瓶颈。
• 提出一个基于特征金字塔的粗到细的级联成本体积，以逐步细化深度/视差。
• 由先前阶段预测驱动的自适应深度采样以减少计算。

提出的方法

• 在多个阶段构造一个级联的成本体积，具有递减的深度范围 Rk 和递减的平面间距 Ik，使得 Dk = Rk/Ik。
• 使用特征金字塔提供多尺度特征，并在各阶段逐步增加空间分辨率。
• Warp 操作和残差深度/视差变化量 Δk+1 指引下一阶段成本体积，使用更新的单应变换或视差映射。
• 用多阶段损失对所有中间输出进行监督：Loss = ∑k λ^k L^k。
• 将级联成本体积与主干网络（如 MVSNet 和 PSMNet）集成，形成 MVSNet+Ours 与立体对比模型，使输出具备高分辨率。

实验结果

研究问题

• RQ1 级联的粗到细成本体积是否能在保持或提高高分辨率深度/视差精度的同时降低内存和计算？
• RQ2 使用先前阶段深度估计的逐步细化如何影响在 MVS 和立体基准上的性能？
• RQ3 级联成本体积在空间分辨率、阶段数量和假设平面之间有哪些权衡？
• RQ4 级联方法在不同数据集上的泛化能力如何（DTU、Tanks and Temples、KITTI、Scene Flow）？

主要发现

• 与 MVSNet 结合时，MVSNet+Ours 在 DTU 上获得第一名，整体质量提升了 35.6%。
• 在使用相同总深度假设的情况下，级联成本体积将 DTU 的 GPU 内存下降约 50.6%，运行时间下降约 59.3%。
• 在 Tanks and Temples 上，MVSNet+Ours 在学习型MVS方法中无需微调即达到最先进性能。
• 在立体匹配中，级联成本体积使端点误差（EPE）在基线方法（如 PSMNet、GwcNet、GANet11）上最多降低 0.166，并降低内存使用（如 PSMNet、GwcNet、GANet11 显著的内存节省）。
• 表格层面的结果显示，采用级联后，MVSNet 的 Acc.、Comp. 和 Overall 指标有所提升（例如在 DTU 的某些配置下，从 0.456/0.646/0.551 提升到 0.325/0.385/0.355，4 阶段级联），并且内存/运行时显著减少。