[论文解读] Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for 3D Reconstruction

Anzhu Yu, Wenyue Guo+5 more|arXiv (Cornell University)|Nov 25, 2020

Advanced Vision and Imaging参考文献 54被引用 4

一句话总结

该论文提出AACVP-MVSNet，一种基于自注意力模块进行特征提取和基于相似性的代价体积构建的级联-精细多视角立体网络，以提升深度估计性能。通过在多尺度上迭代优化深度图并缩小搜索范围，该方法在DTU和BlendedMVS基准测试中实现了最先进性能，最优设置下DTU数据集上的平均精度达到0.326mm。

ABSTRACT

We present an efficient multi-view stereo (MVS) network for 3D reconstruction from multiview images. While previous learning based reconstruction approaches performed quite well, most of them estimate depth maps at a fixed resolution using plane sweep volumes with a fixed depth hypothesis at each plane, which requires densely sampled planes for desired accuracy and therefore is difficult to achieve high resolution depth maps. In this paper we introduce a coarseto-fine depth inference strategy to achieve high resolution depth. This strategy estimates the depth map at coarsest level, while the depth maps at finer levels are considered as the upsampled depth map from previous level with pixel-wise depth residual. Thus, we narrow the depth searching range with priori information from previous level and construct new cost volumes from the pixel-wise depth residual to perform depth map refinement. Then the final depth map could be achieved iteratively since all the parameters are shared between different levels. At each level, the self-attention layer is introduced to the feature extraction block for capturing the long range dependencies for depth inference task, and the cost volume is generated using similarity measurement instead of the variance based methods used in previous work. Experiments were conducted on both the DTU benchmark dataset and recently released BlendedMVS dataset. The results demonstrated that our model could outperform most state-of-the-arts (SOTA) methods. The codebase of this project is at https://github.com/ArthasMil/AACVP-MVSNet.

研究动机与目标

• 为解决现有基于学习的MVS方法在固定分辨率下进行深度估计时存在的内存占用高、分辨率受限的问题。
• 通过引入级联-精细推理策略，利用先前的深度估计结果缩小搜索范围，以提升深度图的精度与分辨率。
• 通过在特征提取模块中集成自注意力机制，增强特征表示能力，以提升深度推理性能。
• 以相似性度量方法替代基于方差的代价体积计算，实现更鲁棒的代价体积构建。
• 通过在多个尺度上实现端到端、参数共享的深度图细化，提升效率与一致性。

提出的方法

• 采用级联-精细深度推理策略，每一级更精细的层级均通过上一级的上采样获得，并应用逐像素的深度残差修正。
• 在特征提取模块中集成自注意力层，以捕捉多视角图像之间的长距离依赖关系。
• 采用基于相似性的代价体积构建方法，替代传统的基于方差的方法，提升在无纹理或反光区域的鲁棒性。
• 在每一级均基于前一级的深度残差重新计算代价体积，从而缩小深度搜索空间，提升细化精度。
• 所有网络参数在各级之间共享，实现无需微调的高效、迭代式深度图细化。
• 在DTU和BlendedMVS数据集上，使用真实深度图作为监督信号，进行端到端的网络训练。

实验结果

研究问题

• RQ1 基于深度残差修正的级联-精细策略是否能提升多视角立体中高分辨率深度图估计的性能？
• RQ2 在特征提取中引入自注意力机制是否能提升深度推理性能，尤其是在低纹理区域？
• RQ3 基于相似性的代价体积构建方法是否在准确性和鲁棒性上优于传统的基于方差的方法？
• RQ4 在基于学习的MVS框架中，输入视角数量如何影响最终的重建质量？
• RQ5 所提方法是否能在DTU和BlendedMVS等标准MVS基准测试中实现最先进性能？

主要发现

• 所提出的AACVP-MVSNet在DTU基准测试中实现了0.326mm的平均精度，为该数据集迄今报告的最佳结果。
• 该模型在DTU和BlendedMVS两个数据集上均优于大多数现有最先进方法，展现出更优的重建精度与完整性。
• 使用七组训练视图和五组评估视图时取得最佳整体性能，完整性得分为0.299mm，平均精度为0.326mm。
• 在不同训练设置下，模型在第40个周期即实现稳定收敛，表明其训练过程可靠且一致。
• 消融实验证实，与基线配置相比，自注意力机制与基于相似性的代价体积显著提升了模型性能。
• 级联-精细策略有效缩小了精细层级的深度搜索空间，实现在不产生过高内存消耗的前提下进行高分辨率深度估计。