[论文解读] Deep Convolutional Neural Fields for Depth Estimation from a Single Image

Fayao Liu, Chunhua Shen+1 more|arXiv (Cornell University)|Nov 24, 2014

Advanced Vision and Imaging参考文献 15被引用 14

一句话总结

该论文提出了一种深度卷积神经场模型，通过统一的深度CNN框架联合学习连续条件随机场（CRF）的单变量势函数和成对势函数，用于单幅图像深度估计。通过实现精确的对数似然优化和闭式最大后验概率（MAP）推理，该方法在无需几何先验或额外标注的情况下，在室内和室外数据集上均取得了最先进性能。

ABSTRACT

We consider the problem of depth estimation from a single monocular image in this work. It is a challenging task as no reliable depth cues are available, e.g., stereo correspondences, motions, etc. Previous efforts have been focusing on exploiting geometric priors or additional sources of information, with all using hand-crafted features. Recently, there is mounting evidence that features from deep convolutional neural networks (CNN) are setting new records for various vision applications. On the other hand, considering the continuous characteristic of the depth values, depth estimations can be naturally formulated into a continuous conditional random field (CRF) learning problem. Therefore, we in this paper present a deep convolutional neural field model for estimating depths from a single image, aiming to jointly explore the capacity of deep CNN and continuous CRF. Specifically, we propose a deep structured learning scheme which learns the unary and pairwise potentials of continuous CRF in a unified deep CNN framework. The proposed method can be used for depth estimations of general scenes with no geometric priors nor any extra information injected. In our case, the integral of the partition function can be analytically calculated, thus we can exactly solve the log-likelihood optimization. Moreover, solving the MAP problem for predicting depths of a new image is highly efficient as closed-form solutions exist. We experimentally demonstrate that the proposed method outperforms state-of-the-art depth estimation methods on both indoor and outdoor scene datasets.

研究动机与目标

• 解决单幅图像深度估计中依赖立体视觉、运动或几何先验的病态问题。
• 将深度卷积神经网络特征与连续CRF结合，实现结构化回归。
• 通过在CRF模型中解析计算分区函数，实现对数似然的精确优化。
• 通过闭式解法实现高效的最大后验概率（MAP）推理，用于深度预测。
• 在无需手工设计特征或外部标注的情况下，展示在多样化场景数据集上的优越性能。

提出的方法

• 该方法将深度估计建模为连续CRF学习问题，将深度值视为连续型随机变量。
• 通过反向传播在深度CNN框架内联合学习CRF的单变量势函数和成对势函数。
• 由于势函数具有高斯形式，CRF的分区函数可被解析计算，从而实现精确的对数似然优化。
• 模型采用基于超像素的特征表示来定义CRF中的空间关系，特征通过预训练的CNN提取。
• 利用矩阵微积分精确计算单变量和成对势函数参数的梯度，支持端到端训练。
• 对新图像的深度预测通过求解MAP推理问题的闭式解完成，确保高效率。

实验结果

研究问题

• RQ1 深度CNN能否与连续CRF有效结合，以提升单幅图像深度估计性能？
• RQ2 在连续CRF框架中采用精确对数似然优化是否优于近似推理方法？
• RQ3 能否在深度结构化模型中实现闭式MAP推理，从而实现快速且准确的深度预测？
• RQ4 所提方法能否在不使用几何先验或额外标注的情况下超越当前最先进方法？
• RQ5 超像素数量如何影响该框架中精度与训练时间之间的权衡？

主要发现

• 所提方法在室内和室外深度估计基准测试中均达到最先进性能，优于先前方法。
• 模型的均方根（RMS）误差低于先前方法，且随着超像素数量增加，性能持续提升。
• 训练时间随超像素数量增加而上升，但准确率也随之提高，表明精度与效率之间存在可调和的权衡。
• MAP推理的闭式解法支持快速深度预测，使该方法在实际应用中具备可行性。
• 由于分区函数可被解析计算，实现了精确的对数似然优化，避免了近似误差。
• 该方法在无需场景特定先验或标注语义标签的情况下，对多样化场景具有良好的泛化能力。