[论文解读] A Survey on Deep Learning Architectures for Image-based Depth Reconstruction

Hamid Laga|arXiv (Cornell University)|Jun 14, 2019

Advanced Vision and Imaging参考文献 115被引用 25

一句话总结

本综述对2014年至2018年间基于深度学习的图像深度重建方法进行了全面回顾，涵盖超过100篇关键论文。它分析了网络架构、训练策略、数据集和损失函数，重点阐述了单目、立体视觉及多视角深度估计方面的进展，同时指出了在精度、分辨率、泛化能力和计算效率方面面临的挑战。

ABSTRACT

Estimating depth from RGB images is a long-standing ill-posed problem, which has been explored for decades by the computer vision, graphics, and machine learning communities. In this article, we provide a comprehensive survey of the recent developments in this field. We will focus on the works which use deep learning techniques to estimate depth from one or multiple images. Deep learning, coupled with the availability of large training datasets, have revolutionized the way the depth reconstruction problem is being approached by the research community. In this article, we survey more than 100 key contributions that appeared in the past five years, summarize the most commonly used pipelines, and discuss their benefits and limitations. In retrospect of what has been achieved so far, we also conjecture what the future may hold for learning-based depth reconstruction research.

研究动机与目标

• 提供2014年至2018年12月期间基于RGB图像的深度重建深度学习技术的全面、结构化综述。
• 对超过100篇深度估计领域的关键论文进行分类与深入分析，重点关注网络架构、训练流程及其在单目、立体视觉和多视角设置下的性能表现。
• 识别当前方法的局限性，包括分辨率限制、数据偏差和计算需求，并讨论在精度、泛化能力以及实时部署方面存在的开放性挑战。
• 为未来研究方向提供洞见，包括自适应能力、域自适应，以及对类似ImageNet的大规模3D基准数据集的迫切需求。

提出的方法

• 本文系统性地调研了计算机视觉、图形学及机器学习领域会议与期刊中超过100项近期研究工作，聚焦于基于深度学习的单幅或多幅RGB图像的深度估计方法。
• 将方法划分为三大类：基于深度神经网络的立体匹配方法、从图像直接回归深度图的方法，以及多尺度或基于部件的重建技术。
• 综述分析了网络架构（如CNN、hourglass、类似hourglass结构及编码器-解码器结构）、损失函数（如L1、L2和边缘感知损失）以及训练策略，包括域自适应与迁移学习。
• 评估了训练数据（特别是合成数据与真实世界数据）对模型泛化能力和性能的影响，并讨论了标定相机的作用以及数据增强的重要性。
• 比较了不同输入类型（单张图像、立体图像对、多视角序列）下方法的性能，评估其在深度精度、分辨率以及对遮挡和纹理变化的鲁棒性方面的表现。
• 提供了关键方法的对比总结，突出模型复杂度、推理速度与重建质量之间的权衡。

实验结果

研究问题

• RQ1 2014年至2018年间，基于深度学习的图像深度重建架构如何演变？其主导的架构模式是什么？
• RQ2 基于立体匹配与直接回归的深度学习方法在深度估计中存在哪些主要差异与权衡？
• RQ3 不同的损失函数与训练策略如何影响深度预测模型的精度与泛化能力？
• RQ4 当前基于深度学习的深度重建方法在分辨率、深度范围内的精度以及对复杂场景的鲁棒性方面存在哪些主要局限？
• RQ5 在提升泛化能力、减少数据依赖性以及实现在移动平台上的实时部署方面，未来最具前景的研究方向是什么？

主要发现

• 基于深度学习的深度估计已取得显著进展，部分最新方法在有利条件下其精度已可与传统多视角立体匹配技术相媲美。
• 在NYU Depth v2和KITTI等大规模数据集上采用端到端监督损失函数（如L1、L2）进行训练的方法表现强劲，但在遮挡区域或无纹理区域精度显著下降。
• 优化模块可提升深度图的分辨率，但头发、植被等小尺度细节仍难以准确重建，主要受限于分辨率与泛化能力。
• 大多数模型对深度范围离散化敏感；改变深度范围或量化级别通常需要重新训练，表明其对分布偏移缺乏鲁棒性。
• 尽管在标准基准测试中表现优异，模型在未见场景或域中的泛化能力仍是重大挑战，对分布外数据的性能报告有限。
• 从合成数据到真实世界数据的域自适应与迁移学习正成为减少对昂贵真实标注依赖的关键策略，但性能差距依然存在。