[论文解读] Deep Stereo using Adaptive Thin Volume Representation with Uncertainty Awareness

Shuo Cheng, Zexiang Xu+5 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Vision and Imaging参考文献 66被引用 19

一句话总结

该论文提出UCS-Net，一种新颖的级联立体网络，通过使用不确定性感知的自适应薄体积（ATVs），实现从多视角RGB图像的高分辨率、高精度三维重建。通过利用基于方差的不确定性估计，在每个阶段动态构建小而局部的深度体积，该方法在显著减少深度平面数量和内存使用量的同时，实现了优于以往基于学习的MVS方法的深度精度和完整性。

ABSTRACT

We present Uncertainty-aware Cascaded Stereo Network (UCS-Net) for 3D reconstruction from multiple RGB images. Multi-view stereo (MVS) aims to reconstruct fine-grained scene geometry from multi-view images. Previous learning-based MVS methods estimate per-view depth using plane sweep volumes with a fixed depth hypothesis at each plane; this generally requires densely sampled planes for desired accuracy, and it is very hard to achieve high-resolution depth. In contrast, we propose adaptive thin volumes (ATVs); in an ATV, the depth hypothesis of each plane is spatially varying, which adapts to the uncertainties of previous per-pixel depth predictions. Our UCS-Net has three stages: the first stage processes a small standard plane sweep volume to predict low-resolution depth; two ATVs are then used in the following stages to refine the depth with higher resolution and higher accuracy. Our ATV consists of only a small number of planes; yet, it efficiently partitions local depth ranges within learned small intervals. In particular, we propose to use variance-based uncertainty estimates to adaptively construct ATVs; this differentiable process introduces reasonable and fine-grained spatial partitioning. Our multi-stage framework progressively subdivides the vast scene space with increasing depth resolution and precision, which enables scene reconstruction with high completeness and accuracy in a coarse-to-fine fashion. We demonstrate that our method achieves superior performance compared with state-of-the-art benchmarks on various challenging datasets.

研究动机与目标

• 解决基于学习的多视角立体（MVS）中因密集平面扫掠体积带来的高内存和计算成本，导致深度精度与完整性之间的权衡问题。
• 克服标准平面扫掠体积中固定深度平面表示的局限性，后者需要大量平面才能保证精度，从而阻碍高分辨率重建。
• 通过自适应、基于不确定性的空间划分，逐步细分局部深度范围，实现从粗到精的深度优化。
• 引入一种可微分的、不确定性感知的体积构建机制，提升采样效率和预测精度。
• 在减少内存和计算开销的前提下，实现在基准数据集上的最先进性能。

提出的方法

• 提出一个三阶段级联网络：第一阶段使用低分辨率下的64个平面的小型标准平面扫掠体积；后续阶段使用更高分辨率和更少平面的自适应薄体积（ATVs）。
• 通过以前置阶段预测的深度图为中心，基于每个像素的基于方差的不确定性估计定义深度区间，构建ATVs。
• 使用可微分的基于方差的置信区间，生成空间自适应的深度范围，实现每个像素的细粒度和局部化。
• 采用多尺度特征提取器，为所有阶段的成本体积构建生成深层特征。
• 在每个阶段使用3D U-Net处理成本体积，通过所有三个阶段的深度监督实现端到端训练。
• 将不确定性估计整合到下一阶段的输入体积中，使网络能够学习最优的深度覆盖范围和分辨率优化。

实验结果

研究问题

• RQ1 自适应、基于不确定性的深度体积构建能否提升基于学习的多视角立体的效率与精度？
• RQ2 在自适应薄体积中使用少量深度平面与标准密集平面扫掠体积相比，在深度分辨率和完整性方面表现如何？
• RQ3 基于方差的不确定性估计在多大程度上能引导有效且细粒度的深度范围空间划分？
• RQ4 具有不确定性感知体积自适应的从粗到精级联框架，能否在降低内存消耗的同时实现更优的重建质量？
• RQ5 预测的不确定性区间在挑战性区域（如无纹理区域或物体边界）中对真实深度的覆盖程度如何？

主要发现

• 该方法在DTU和Tanks and Temple基准数据集上实现了最先进性能，表现出卓越的深度精度和完整性。
• 两个ATVs的中位深度采样距离分别为0.38mm和0.34mm，显著高于先前方法（例如，MVSNet使用256个平面时为1.99mm）。
• 两个ATVs的平均不确定性区间长度分别为12.01mm和2.71mm，但中位数更具代表性（因对异常值敏感），表明大多数像素具有高采样效率。
• 两个ATVs分别在94.7%和85.2%的像素中覆盖了真实深度，表明不确定性估计具有高可靠性。
• 网络在阶段间降低不确定性，表现为第三阶段ATV中白色（低不确定性）区域较第二阶段ATV更多，表明预测精度得到提升。
• 不确定性较大（红色）或覆盖错误（蓝色）的像素主要位于物体边界、倾斜表面或无纹理区域——与深度估计中的已知挑战一致。