[论文解读] Monocular Depth Estimation with Hierarchical Fusion of Dilated CNNs and Soft-Weighted-Sum Inference

Bo Li, Yuchao Dai+1 more|arXiv (Cornell University)|Aug 2, 2017

Advanced Vision and Imaging参考文献 24被引用 8

一句话总结

该论文提出了一种端到端的单目深度估计框架，通过空洞卷积和层级特征融合，将深度预测重新定义为多类别密集分类任务，以捕捉多尺度深度线索。通过采用软加权求和推理而非硬最大值，该方法减少了量化误差，并学习到连续的深度概率分布，在NYU Depth V2和KITTI数据集上实现了最先进性能，准确率达到82.0%，相对误差为0.139。

ABSTRACT

Monocular depth estimation is a challenging task in complex compositions depicting multiple objects of diverse scales. Albeit the recent great progress thanks to the deep convolutional neural networks (CNNs), the state-of-the-art monocular depth estimation methods still fall short to handle such real-world challenging scenarios. In this paper, we propose a deep end-to-end learning framework to tackle these challenges, which learns the direct mapping from a color image to the corresponding depth map. First, we represent monocular depth estimation as a multi-category dense labeling task by contrast to the regression based formulation. In this way, we could build upon the recent progress in dense labeling such as semantic segmentation. Second, we fuse different side-outputs from our front-end dilated convolutional neural network in a hierarchical way to exploit the multi-scale depth cues for depth estimation, which is critical to achieve scale-aware depth estimation. Third, we propose to utilize soft-weighted-sum inference instead of the hard-max inference, transforming the discretized depth score to continuous depth value. Thus, we reduce the influence of quantization error and improve the robustness of our method. Extensive experiments on the NYU Depth V2 and KITTI datasets show the superiority of our method compared with current state-of-the-art methods. Furthermore, experiments on the NYU V2 dataset reveal that our model is able to learn the probability distribution of depth.

研究动机与目标

• 解决复杂场景中因物体尺度多样而带来的多尺度深度估计挑战。
• 克服基于回归方法的局限性，包括数据不平衡和对深度量化敏感的问题。
• 通过将深度建模为具有可学习概率分布的分类任务，提升模型的鲁棒性和准确性。
• 通过软加权求和推理减少量化误差，并增强泛化能力。

提出的方法

• 将单目深度估计重新定义为多类别密集标注问题，而非回归任务，从而可使用语义分割风格的深度学习技术。
• 在残差网络主干中使用空洞卷积，以扩大感受野并捕捉多尺度上下文信息。
• 采用层级特征融合，将网络不同阶段的多尺度特征进行融合，实现对尺度敏感的深度表征。
• 应用软加权求和推理，将离散的深度类别得分转换为连续的深度预测，最小化量化误差。
• 使用多项式逻辑损失进行网络训练，使模型能够隐式学习相邻深度类别之间的相似性。
• 利用输出的概率分布指导深度预测，提升模型的鲁棒性和连续性。

实验结果

研究问题

• RQ1 单目深度估计能否被有效重构为多类别分类任务，以提升多尺度深度预测性能？
• RQ2 分层融合的空洞特征在多尺度深度估计中如何增强尺度感知能力？
• RQ3 与硬最大值推理相比，软加权求和推理是否能减少量化误差并提升预测连续性？
• RQ4 基于分类的网络能否学习到反映空间和深度关系的有意义的深度概率分布？

主要发现

• 所提方法在NYU Depth V2数据集上达到82.0%的像素准确率和0.139的相对误差（Rel），优于当前最先进方法。
• 与硬最大值推理相比，软加权求和推理将误差降低至0.139 Rel，准确率提升至82.0%，而硬最大值推理的误差为0.142 Rel，准确率为81.82%。
• 消融实验表明，空洞卷积和跳跃连接均至关重要，移除任一组件将导致准确率下降超过3%。
• 网络学习到的深度类别概率分布呈对称的高斯分布形态，表明其成功捕捉了深度的相似性与邻近性。
• 当深度分箱数从50增加到1000时，像素准确率从67%下降至7%，但相对误差保持稳定（约0.14），表明在细粒度下深度感知能力有限。
• 混淆矩阵显示对角线主导且对称，证实误差主要发生在相邻深度类别之间，验证了软推理的必要性。