[论文解读] Depth from a Single Image by Harmonizing Overcomplete Local Network Predictions

Ayan Chakrabarti, Jingyu Shao+1 more|arXiv (Cornell University)|May 23, 2016

Advanced Vision and Imaging被引用 51

一句话总结

该论文提出了一种新颖的单目深度估计方法，通过训练深度神经网络来预测每个图像位置上深度导数（不同阶数、尺度和方向）的概率分布，然后通过高效的优化过程将这些过完备的局部预测统一为全局一致的深度图。该方法在 NYUv2 基准测试中取得了最先进性能，在关键指标上优于以往基于学习的方法。

ABSTRACT

A single color image can contain many cues informative towards different aspects of local geometric structure. We approach the problem of monocular depth estimation by using a neural network to produce a mid-level representation that summarizes these cues. This network is trained to characterize local scene geometry by predicting, at every image location, depth derivatives of different orders, orientations and scales. However, instead of a single estimate for each derivative, the network outputs probability distributions that allow it to express confidence about some coefficients, and ambiguity about others. Scene depth is then estimated by harmonizing this overcomplete set of network predictions, using a globalization procedure that finds a single consistent depth map that best matches all the local derivative distributions. We demonstrate the efficacy of this approach through evaluation on the NYU v2 depth data set.

研究动机与目标

• 解决仅使用单目线索从单张 RGB 图像中准确估计深度的挑战。
• 通过捕捉多尺度、多方向和多阶深度导数中的不确定性和模糊性，更稳健地建模局部几何结构。
• 通过全局化过程将过完备的、概率化的局部预测统一为单一一致的深度图，从而提升深度估计性能。
• 在统一的概率框架下，实现单目线索与稀疏或噪声深度测量的融合。
• 证明学习过完备的、分布式的深度导数表征可显著提升深度估计性能。

提出的方法

• 训练卷积神经网络，为每个像素输出多个尺度和方向上的深度导数（0阶至2阶）的参数化概率分布。
• 网络同时使用全局上下文和局部图像块作为输入，以预测带有不确定性的局部几何结构。
• 每个输出为深度导数系数的概率分布（均值与方差），使网络能够表达置信度与模糊性。
• 通过全局化过程求解一个最优深度图，使其最大程度匹配所有局部导数分布，最小化一致性目标。
• 将优化问题表述为稀疏的大规模二次规划，以在深度图中强制实现平滑性与一致性。
• 该方法端到端进行训练，并在 NYUv2 数据集上使用标准指标进行评估。

实验结果

研究问题

• RQ1 深度神经网络能否通过预测多个深度导数系数的概率分布，有效总结多样化的单目深度线索？
• RQ2 通过概率分布表达局部深度预测中的不确定性，是否能提升最终深度估计的准确性？
• RQ3 全局化过程能否有效将过完备的局部、概率化深度导数预测统一为全局一致的深度图？
• RQ4 不同阶数、尺度和方向的导数对最终深度估计精度有何贡献？
• RQ5 该方法能否在单目深度估计中超越直接回归基线方法？

主要发现

• 该方法在 NYUv2 测试集上实现了 0.620（线性）和 0.205（对数）的均方根误差（RMSE），优于以往最先进方法。
• 80.6% 的像素相对误差 δ < 1.25，95.8% 的像素 δ < 1.25²，98.7% 的像素 δ < 1.25³，表明在小误差范围内表现优异。
• 消融实验表明，无论按阶数、尺度或方向移除任意一组导数系数，性能均下降，其中二阶导数贡献最小。
• 仅使用零阶深度分布（点对点深度）的表现优于仅结合多尺度零阶导数，表明尺度多样性具有重要意义。
• 网络的分布输出在预测误差较低的区域具有高度置信度（方差小），证实不确定性估计具有实际意义。
• 定性比较显示，该方法生成的局部几何结构（如边缘、表面）比基线方法更准确，尤其在 NYUv2 测试图像中表现突出。