[论文解读] Depth Map Prediction from a Single Image using a Multi-Scale Deep Network

David Eigen, Christian Puhrsch+1 more|arXiv (Cornell University)|Jun 9, 2014

Advanced Vision and Imaging参考文献 16被引用 2,258

一句话总结

该论文提出了一种多尺度深度网络，包含两个堆叠组件：一个全局粗预测器和一个局部细化网络，用于从单幅图像预测深度图。通过使用尺度不变损失函数并利用大规模原始数据集，该方法在NYU Depth和KITTI基准测试中取得了最先进性能，准确捕捉了深度边界，且无超像素化现象。

ABSTRACT

Predicting depth is an essential component in understanding the 3D geometry of a scene. While for stereo images local correspondence suffices for estimation, finding depth relations from a single image is less straightforward, requiring in-tegration of both global and local information from various cues. Moreover, the task is inherently ambiguous, with a large source of uncertainty coming from the overall scale. In this paper, we present a new method that addresses this task by employing two deep network stacks: one that makes a coarse global prediction based on the entire image, and another that refines this prediction locally. We also apply a scale-invariant error to help measure depth relations rather than scale. By leveraging the raw datasets as large sources of training data, our method achieves state-of-the-art results on both NYU Depth and KITTI, and matches detailed depth boundaries without the need for superpixelation. 1

研究动机与目标

• 解决单图像深度估计中的固有模糊性，特别是尺度不确定性问题。
• 整合全局上下文与局部细节，以提高深度图的准确性。
• 克服现有方法依赖超像素化或无法保留精细深度边界的问题。
• 开发一种在多样化场景和数据集上具有良好泛化能力的鲁棒方法。
• 在无需多视角监督的情况下，实现在NYU Depth和KITTI等基准数据集上的最先进性能。

提出的方法

• 采用两阶段堆叠深度网络架构：使用完整图像上下文进行粗略深度预测的全局编码器。
• 利用局部运行的细化网络来增强细节并校正粗略预测结果。
• 应用尺度不变损失函数，优先关注深度关系的准确性而非绝对尺度，从而减少尺度模糊性。
• 使用大规模原始数据集作为监督信号，对整个网络进行端到端训练。
• 利用多尺度特征，以捕捉全局场景结构和局部深度变化。
• 通过直接预测高边界保真度的密集深度图，避免超像素化。

实验结果

研究问题

• RQ1 多尺度深度网络架构能否有效结合全局与局部线索，实现单图像深度预测？
• RQ2 使用尺度不变损失函数是否能通过减少尺度模糊性来提升深度估计的准确性？
• RQ3 所提出的方法是否能在不依赖超像素化或多视角数据的情况下实现最先进性能？
• RQ4 该方法在基准数据集中的多样化室内与室外场景中泛化能力如何？
• RQ5 与单阶段模型相比，两阶段网络设计（粗预测 + 细化）在边界准确性方面提升程度如何？

主要发现

• 所提方法在NYU Depth数据集上实现了最先进性能，其深度估计精度优于先前方法。
• 在KITTI基准测试中，该方法在深度预测质量方面与现有最先进方法相当或更优。
• 该模型成功保留了精细的深度边界，无需依赖超像素化，从而提升了定位精度。
• 使用尺度不变损失显著减少了与尺度相关的误差，增强了在不同深度范围场景中的泛化能力。
• 两阶段网络设计——先进行全局粗预测，再进行局部细化——生成了更准确且一致的深度图。
• 在大规模原始数据集上进行端到端训练，使模型在多样化真实场景中展现出强大的泛化能力与鲁棒性。