[论文解读] Learning Fine-Scaled Depth Maps from Single RGB Images.

Jun Li, Reinhard Klein+1 more|arXiv (Cornell University)|Jul 4, 2016

Advanced Vision and Imaging参考文献 19被引用 12

一句话总结

该论文提出了一种多尺度卷积神经网络，通过整合空间坐标特征图和局部相对深度约束，从单张RGB图像中学习精细尺度的深度图，从而实现高度详细且空间一致的3D重建。在NYU Depth v2数据集上，该方法达到了最先进的深度预测性能，并生成了具有更优几何保真度和局部细节的3D重建结果。

ABSTRACT

Inferring the underlying depth map from a single image is an ill-posed and inherently ambiguous problem. State-of-the-art deep learning methods can now estimate accurate depth maps, but when projected into 3D, still lack local detail and are often highly distorted. We propose a multi-scale convolution neural network to learn from single RGB images fine-scaled depth maps that result in realistic 3D reconstructions. To encourage spatial coherency, we introduce spatial coordinate feature maps and a local relative depth constraint. In our network, the three scales are closely integrated with skip fusion layers, making it highly efficient to train with large-scale data. Experiments on the NYU Depth v2 dataset shows that our depth predictions are not only competitive with state-of-the-art but also leading to 3D reconstructions that are accurate and rich with detail.

研究动机与目标

• 解决单图像深度估计固有的模糊性和不适定性问题。
• 提升深度图中的局部几何细节，而当前的深度学习方法往往难以捕捉这些细节。
• 增强预测深度图的空间一致性，以实现更逼真的3D重建。
• 开发一种高效的训练框架，通过多尺度融合实现对大规模数据的处理。

提出的方法

• 该方法采用具有跳跃融合层的多尺度卷积神经网络，以整合不同感受野的特征。
• 引入空间坐标特征图，显式编码位置信息，提升空间一致性。
• 应用局部相对深度约束，以保留细粒度的深度变化并减少失真。
• 在网络不同尺度之间使用跳跃连接，以增强特征传播并提高训练效率。
• 该网络在大规模数据集上端到端进行训练，以从单张RGB输入学习高分辨率深度图。

实验结果

研究问题

• RQ1 深度学习模型能否在提升空间一致性的前提下，从单张RGB图像中学习到精细尺度的深度图？
• RQ2 引入空间坐标特征在多大程度上提升了3D重建的质量与真实感？
• RQ3 局部相对深度约束在多大程度上减少了失真并增强了局部几何细节？
• RQ4 通过跳跃连接实现的多尺度特征融合在多大程度上提升了训练效率与预测准确性？

主要发现

• 与当前最先进方法相比，所提出的方法在NYU Depth v2数据集上实现了具有竞争力的深度预测性能。
• 从预测深度图生成的3D重建结果表现出显著更高的几何细节和真实感。
• 空间坐标特征与局部相对深度约束的融合，使深度图具有更高的空间一致性。
• 跳跃融合层在保持各尺度间高特征保真度的同时，实现了大规模数据的高效训练。