[论文解读] Deep Learning based Monocular Depth Prediction: Datasets, Methods and Applications

Qing Li, Jiasong Zhu+5 more|arXiv (Cornell University)|Nov 9, 2020

Advanced Vision and Imaging参考文献 177被引用 7

一句话总结

本综述全面回顾了基于深度学习的单目深度预测技术，涵盖数据集、有监督与无监督学习方法以及深度补全技术。分析了网络架构、损失函数与几何约束，识别出尺度模糊性与实时部署等关键挑战，并提出了可解释性、轻量化网络与域自适应等未来研究方向。

ABSTRACT

Estimating depth from RGB images can facilitate many computer vision tasks, such as indoor localization, height estimation, and simultaneous localization and mapping (SLAM). Recently, monocular depth estimation has obtained great progress owing to the rapid development of deep learning techniques. They surpass traditional machine learning-based methods by a large margin in terms of accuracy and speed. Despite the rapid progress in this topic, there are lacking of a comprehensive review, which is needed to summarize the current progress and provide the future directions. In this survey, we first introduce the datasets for depth estimation, and then give a comprehensive introduction of the methods from three perspectives: supervised learning-based methods, unsupervised learning-based methods, and sparse samples guidance-based methods. In addition, downstream applications that benefit from the progress have also been illustrated. Finally, we point out the future directions and conclude the paper.

研究动机与目标

• 系统性回顾基于深度学习的单目深度估计的最新进展，包括有监督、无监督及稀疏引导方法。
• 分析有监督深度预测中网络架构与损失函数的演变。
• 评估基于无监督学习方法的性能与局限性，特别是尺度模糊性与遮挡处理方面的问题。
• 探索融合RGB图像与稀疏深度输入以提升精度的深度补全技术。
• 识别模型可解释性、嵌入式设备上的实时推理以及域泛化方面的开放挑战与未来研究方向。

提出的方法

• 将单目深度估计方法划分为三大范式：有监督学习、无监督学习与稀疏样本引导。
• 通过分析网络结构（例如，Hourglass、GANs）与损失函数（例如，L1、L2、边缘感知损失）来回顾有监督方法，以提升深度图质量。
• 基于图像重建与循环一致性，考察无监督方法，利用立体图像或视频帧在无真实深度标签的情况下监督深度预测。
• 分析利用注意力机制或基于图的融合方法将稀疏深度输入与RGB图像融合的深度补全技术，以提升精度。
• 整合几何与统计约束（例如，深度一致性、模糊效应）作为正则化项，以增强网络泛化能力。
• 通过消融研究与在基准数据集上的对比，评估模型效率与鲁棒性。

实验结果

研究问题

• RQ1 不同的深度学习架构与损失函数如何影响单目深度预测的精度与泛化能力？
• RQ2 基于无监督学习的单目深度估计的主要局限性是什么，特别是尺度模糊性与遮挡问题？
• RQ3 如何有效将几何与统计先验（例如，模糊效应、深度一致性）作为正则化项集成到深度神经网络中？
• RQ4 在嵌入式或实时系统中部署深度学习模型进行单目深度预测面临哪些关键挑战？
• RQ5 在包含多种相机类型与环境的现实部署场景中，如何缓解域偏移与过拟合问题？

主要发现

• 有监督深度学习方法在精度与速度方面显著优于传统机器学习与非参数化方法。
• 无监督方法通过利用立体或视频一致性取得良好性能，但仍面临尺度模糊性与动态物体检测的挑战。
• 将深度一致性与模糊效应等几何约束作为正则化项可有效提升模型的鲁棒性与泛化能力。
• 当前的深度学习模型计算量过大，不适用于嵌入式设备，凸显了对轻量化架构的迫切需求。
• 域偏移仍是主要挑战：在一种相机或场景类型上训练的模型在未见的相机或环境中常会失效。
• 可解释性研究表明，CNNs 会关注几何线索（如边缘与消失点），表明网络注意力与场景结构之间存在强关联。