[论文解读] Non-local Recurrent Regularization Networks for Multi-view Stereo

Qingshan Xu, Martin R. Oswald+3 more|arXiv (Cornell University)|Oct 13, 2021

Advanced Vision and Imaging参考文献 35被引用 5

一句话总结

该论文提出NR2-Net，一种用于多视角立体视觉的非局部循环正则化网络，通过深度注意力模块和门控循环单元，捕捉深度维度上的长程依赖关系，在DTU和Tanks and Temples基准测试中显著提升了3D重建的精度与完整性。该方法在保持二次方内存复杂度的同时，通过在深度维度建模全局场景上下文，超越了以往的循环方法与3D滤波方法。

ABSTRACT

In deep multi-view stereo networks, cost regularization is crucial to achieve accurate depth estimation. Since 3D cost volume filtering is usually memory-consuming, recurrent 2D cost map regularization has recently become popular and has shown great potential in reconstructing 3D models of different scales. However, existing recurrent methods only model the local dependencies in the depth domain, which greatly limits the capability of capturing the global scene context along the depth dimension. To tackle this limitation, we propose a novel non-local recurrent regularization network for multi-view stereo, named NR2-Net. Specifically, we design a depth attention module to capture non-local depth interactions within a sliding depth block. Then, the global scene context between different blocks is modeled in a gated recurrent manner. This way, the long-range dependencies along the depth dimension are captured to facilitate the cost regularization. Moreover, we design a dynamic depth map fusion strategy to improve the algorithm robustness. Our method achieves state-of-the-art reconstruction results on both DTU and Tanks and Temples datasets.

研究动机与目标

• 为解决现有循环成本正则化方法在深度维度上难以捕捉长程依赖关系的局限性。
• 通过在深度方向建模全局场景上下文，提升3D重建的精度与完整性。
• 减少对深度图融合中固定阈值的依赖，此类阈值常导致点云不完整。
• 设计一种内存效率高且强大的正则化框架，可扩展至大规模场景。
• 通过联合考虑深度概率与一致性，实现鲁棒且自适应的深度图融合。

提出的方法

• 将深度采样空间划分为非重叠块，以实现局部化的非局部交互。
• 引入深度注意力模块，利用空洞采样与自注意力机制，在非相邻深度平面之间提炼高层特征。
• 使用门控循环单元（GRUs）在深度块之间传播并更新潜在特征，以建模深度维度上的长程依赖。
• 基于前序块的全局上下文更新GRU的单元状态，实现对成本图的长程正则化。
• 提出一种动态深度图融合策略，根据深度一致性自适应设置深度概率的阈值，从而提升点云完整性。
• 采用多任务损失端到端训练网络，结合深度监督与一致性正则化。

实验结果

研究问题

• RQ1 深度块内部的非局部交互是否能超越局部循环方法，提升成本体积正则化效果？
• RQ2 跨深度块的门控循环建模是否能有效捕捉深度维度上的全局场景上下文？
• RQ3 基于深度概率与一致性的动态融合策略是否能带来更完整且鲁棒的3D重建？
• RQ4 在大规模数据集上，该方法与3D滤波方法及标准循环方法相比，在精度与内存效率方面表现如何？
• RQ5 该模型能否在包含低纹理与反光区域的多样化场景中实现良好泛化？

主要发现

• NR2-Net在DTU数据集上达到最先进性能，相比先前方法显著提升了精度与完整性。
• 在Tanks and Temples数据集上，NR2-Net在大规模3D重建任务中表现卓越，优于现有的循环方法与3D滤波基线。
• 消融实验表明，非局部循环正则化与动态融合组件均显著提升了重建质量。
• 动态融合策略通过根据深度一致性自适应调整阈值，提高了点云完整性，减少了误检（假阴性）。
• GRU单元状态的可视化显示，模型即使在模糊的空间区域也能有效区分前景与背景，表明其具备有效的全局上下文建模能力。
• NR2-Net相比3D滤波方法使用显著更少的GPU内存，其内存复杂度随分辨率呈二次方增长，而非三次方。