[论文解读] DDR-Net: Learning Multi-Stage Multi-View Stereo With Dynamic Depth Range

Puyuan Yi, Shengkun Tang+1 more|arXiv (Cornell University)|Mar 26, 2021

Advanced Vision and Imaging参考文献 34被引用 6

一句话总结

DDR-Net 提出了一种动态深度范围估计模块（REM），该模块基于前序预测的不确定性，自适应地为每个像素确定深度范围假设，从而提升了多阶段多视角立体视觉（MVS）的精度。通过采用一种新颖的损失策略来优化深度范围并确保真实深度值的覆盖，DDR-Net 在 DTU 基准测试中实现了最先进的性能，其精度和完整性均优于以往方法。

ABSTRACT

To obtain high-resolution depth maps, some previous learning-based multi-view stereo methods build a cost volume pyramid in a coarse-to-fine manner. These approaches leverage fixed depth range hypotheses to construct cascaded plane sweep volumes. However, it is inappropriate to set identical range hypotheses for each pixel since the uncertainties of previous per-pixel depth predictions are spatially varying. Distinct from these approaches, we propose a Dynamic Depth Range Network (DDR-Net) to determine the depth range hypotheses dynamically by applying a range estimation module (REM) to learn the uncertainties of range hypotheses in the former stages. Specifically, in our DDR-Net, we first build an initial depth map at the coarsest resolution of an image across the entire depth range. Then the range estimation module (REM) leverages the probability distribution information of the initial depth to estimate the depth range hypotheses dynamically for the following stages. Moreover, we develop a novel loss strategy, which utilizes learned dynamic depth ranges to generate refined depth maps, to keep the ground truth value of each pixel covered in the range hypotheses of the next stage. Extensive experimental results show that our method achieves superior performance over other state-of-the-art methods on the DTU benchmark and obtains comparable results on the Tanks and Temples benchmark. The code is available at https://github.com/Tangshengku/DDR-Net.

研究动机与目标

• 为解决粗到细 MVS 网络中固定深度范围假设的局限性，这些方法无法适应空间变化的深度预测不确定性。
• 通过估计反映像素级不确定性的动态深度范围，提升深度图的精度与完整性。
• 设计一个范围估计模块（REM），利用大感受野捕捉来自全局上下文的不确定性。
• 开发一种新颖的损失策略，以优化深度范围假设并确保真实深度值在后续阶段中保持被覆盖。
• 在标准 MVS 基准测试中，特别是 DTU 上，实现最先进性能，且计算成本增加极少。

提出的方法

• 采用多阶段 MVS 框架，将范围估计模块（REM）应用于前两个阶段，以逐像素预测动态深度范围。
• REM 是一个浅层 2D 卷积神经网络，具有大感受野，用于聚合邻近像素的不确定性信息。
• 在最粗分辨率下使用固定深度范围生成初始深度图，随后由 REM 进行优化，生成阶段特定的动态深度假设。
• 提出一种新颖的损失策略，将前一阶段的概率分布钳制到新采样的动态深度范围内，从而通过 soft-argmin 实现更精确的深度图回归。
• 利用优化后的深度图监督 REM，提升后续阶段深度范围预测的置信度与准确性。
• 最后一阶段使用第二阶段的动态范围生成高分辨率深度图，不再进行进一步优化。

实验结果

研究问题

• RQ1 与固定范围方法相比，动态深度范围估计是否能提升多视角立体重建的精度与完整性？
• RQ2 如何有效建模并利用像素级深度预测的不确定性，以指导阶段特定的深度范围选择？
• RQ3 一种强制在动态深度范围内覆盖真实深度值的损失策略，是否能带来更优的深度图质量？
• RQ4 轻量级浅层网络（REM）是否能有效利用全局上下文估计深度范围并提升下游性能？
• RQ5 在标准基准测试中，该方法与最先进 MVS 方法相比，在精度、完整性和效率方面表现如何？

主要发现

• DDR-Net 在 DTU 基准测试中达到最先进性能，综合得分为 0.329，优于基线方法 CasMVSNet（0.348）和 UCSNet（0.342）。
• 同时采用 REM 和新颖损失策略的模型，将第三阶段的平均深度范围从 20.91mm 降低至 19.24mm，减少 7.9%，同时将真实深度覆盖率从 83.91% 提升至 84.35%。
• 仅使用范围估计模块（REM）相比基线，完整性提升 0.010，综合得分提升 0.009，证明其有效性。
• 完整模型（REM + 损失）在第二阶段实现 73.1% 的像素其估计深度范围覆盖真实深度，显著优于 UCSNet 的 59.8%，在覆盖效率方面表现更优。
• DDR-Net 仅在第一、二、三阶段分别使用 48、32 和 8 个深度平面，仍保持高精度，表明性能提升源于动态范围估计，而非采样密度增加。
• 定性结果表明，与最先进方法相比，点云重建质量更优，尤其在纹理稀少和反光区域表现更佳。