[论文解读] IronDepth: Iterative Refinement of Single-View Depth using Surface Normal and its Uncertainty

Gwangbin Bae, Ignas Budvytis+1 more|arXiv (Cornell University)|Oct 7, 2022

Advanced Vision and Imaging被引用 9

一句话总结

IronDepth 提出了一种用于单目深度估计的迭代优化框架，通过利用预测的表面法线及其不确定性来提升深度图的准确性。该方法将深度优化建模为分类问题，以选择最优的邻近像素作为深度传播的来源，并结合亚像素上采样，从而在 NYUv2 和 iBims-1 数据集上实现最先进性能，显著提升了表面法线估计的准确性，超越了标准深度估计网络。

ABSTRACT

Single image surface normal estimation and depth estimation are closely related problems as the former can be calculated from the latter. However, the surface normals computed from the output of depth estimation methods are significantly less accurate than the surface normals directly estimated by networks. To reduce such discrepancy, we introduce a novel framework that uses surface normal and its uncertainty to recurrently refine the predicted depth-map. The depth of each pixel can be propagated to a query pixel, using the predicted surface normal as guidance. We thus formulate depth refinement as a classification of choosing the neighboring pixel to propagate from. Then, by propagating to sub-pixel points, we upsample the refined, low-resolution output. The proposed method shows state-of-the-art performance on NYUv2 and iBims-1 - both in terms of depth and normal. Our refinement module can also be attached to the existing depth estimation methods to improve their accuracy. We also show that our framework, only trained for depth estimation, can also be used for depth completion. The code is available at https://github.com/baegwangbin/IronDepth.

研究动机与目标

• 为解决从深度图推导出的表面法线与专用网络直接估计的表面法线之间存在的显著差异。
• 通过在循环优化过程中引入表面法线引导与不确定性信息，提升深度估计的准确性。
• 在三维重建中更好地保留场景几何结构，如平坦的墙壁和地板。
• 开发一个即插即用的模块，无需微调即可增强现有深度估计网络。
• 通过引入稀疏深度测量作为锚点，将方法扩展至深度补全任务。

提出的方法

• 该方法利用像素的深度和表面法线定义的平面模型，指导深度向邻近像素的传播。
• 将深度优化建模为分类任务，基于法线一致性选择最优的源像素以进行深度传播。
• 在粗分辨率下应用迭代优化，通过循环网络利用传播权重更新深度预测。
• 使用学习得到的上采样权重执行亚像素上采样，以在更高分辨率下细化输出。
• 将表面法线的不确定性纳入其中，以加权传播决策的可靠性。
• 该框架端到端进行训练，可作为后处理模块应用于任意预训练的深度估计模型。

实验结果

研究问题

• RQ1 表面法线引导是否能超越基于回归的标准深度估计方法，显著提升深度图的几何准确性？
• RQ2 基于法线引导传播的迭代优化是否相比直接回归深度，能带来更优的表面法线估计？
• RQ3 所提出的方法能否作为后处理模块被有效应用于增强现有深度估计网络？
• RQ4 当存在稀疏深度测量时，该框架在多大程度上能提升深度补全的性能？
• RQ5 表面法线的不确定性在多大程度上影响深度传播的可靠性与性能？

主要发现

• IronDepth 在 NYUv2 数据集上达到最先进性能，深度误差（abs rel）为 0.115，表面法线平均角度误差为 13.7°，显著优于基线深度模型。
• 在 iBims-1 数据集上，该方法实现深度误差（abs rel）0.121 和表面法线平均角度误差 14.8°，展现出强大的泛化能力。
• IronDepth 生成的表面法线显著优于 AdaBins 计算出的法线（28.8° vs. 14.9°），表明其具备更高的几何保真度。
• 作为后处理模块应用时，IronDepth 在 NYUv2 和 iBims-1 基准上均提升了五种最先进深度估计方法的深度预测精度。
• 该框架通过法线引导的优化有效实现了深度补全，能够利用极少的锚点传播稀疏深度测量，显著提升精度。
• 消融实验表明，引入不确定性信息并采用基于分类的传播源选择策略，可带来更稳定且准确的深度优化结果。