[论文解读] A Two-Streamed Network for Estimating Fine-Scaled Depth Maps from Single RGB Images

Jun Li, Reinhard Klein+1 more|arXiv (Cornell University)|Jul 4, 2016

Advanced Vision and Imaging被引用 10

一句话总结

本文提出一种双流卷积神经网络，通过端到端学习或优化联合估计单幅RGB图像的深度与深度梯度，融合结果生成高分辨率、无伪影的深度图。该方法通过一种新颖的集合损失提升泛化能力与准确性，实现了最先进的3D重建质量，提升了局部细节并减少了失真，在NYU Depth v2数据集上的表现优于先前方法。

ABSTRACT

Estimating depth from a single RGB image is an ill-posed and inherently ambiguous problem. State-of-the-art deep learning methods can now estimate accurate 2D depth maps, but when the maps are projected into 3D, they lack local detail and are often highly distorted. We propose a fast-to-train two-streamed CNN that predicts depth and depth gradients, which are then fused together into an accurate and detailed depth map. We also define a novel set loss over multiple images; by regularizing the estimation between a common set of images, the network is less prone to over-fitting and achieves better accuracy than competing methods. Experiments on the NYU Depth v2 dataset shows that our depth predictions are competitive with state-of-the-art and lead to faithful 3D projections.

研究动机与目标

• 解决复杂室内场景中单目深度估计固有的模糊性与病态性问题，这些场景通常具有纹理、遮挡和几何复杂性。
• 克服标准CNN通过池化和卷积下采样特征图所导致的细粒度细节丢失与3D投影失真问题。
• 通过引入一种新颖的集合图像损失，对同一图像的多种增强版本进行正则化，以提升深度估计的泛化能力并减少过拟合。
• 通过联合回归深度与深度梯度，保留局部结构细节，利用一阶导数作为比仅使用深度更有效的边缘与角点表示。
• 生成的深度图可实现比当前最先进方法更准确、更详细的3D重建，尤其在保留物体边界与表面结构方面表现更优。

提出的方法

• 提出一种双流卷积神经网络架构：一条分支回归绝对深度，另一条分支回归深度梯度（一阶导数），从而实现对深度与局部几何结构的联合建模。
• 网络利用预训练的VGG-16特征中的跳跃连接，以保留空间分辨率并增强两条分支的特征表示能力。
• 定义了一种新颖的集合损失，作用于同一图像的多个增强版本上，通过最小化单个预测误差与图像间预测方差，提升泛化能力。
• 提出两种融合策略：(1) 使用额外的卷积层在端到端训练中融合深度与梯度预测；(2) 通过直接优化强制预测深度与梯度之间的一致性。
• 集合损失包含一个正则化项，惩罚同一场景在不同增强视图下的深度预测差异，从而提升鲁棒性，并将RMS误差降低约5%。
• 最终通过学习或基于优化的融合方式，将深度与梯度融合生成深度图，从而获得更高保真度的3D投影。

实验结果

研究问题

• RQ1 与仅回归深度的标准方法相比，联合估计深度与深度梯度是否能提升单目深度图的保真度与局部细节？
• RQ2 通过在相同图像的多个增强视图上正则化预测的集合损失，是否能提升深度估计的泛化能力并减少过拟合？
• RQ3 深度与深度梯度预测的结合是否能产生比当前最先进方法更少伪影、更符合场景几何结构的3D重建？
• RQ4 所提出的双流网络架构在训练速度与收敛性方面，与现有深度学习深度估计模型相比表现如何？
• RQ5 在深度估计任务中，RMS误差等数值指标在多大程度上与感知质量及3D重建保真度相关？

主要发现

• 所提方法在NYU Depth v2数据集上表现具有竞争力，深度仅回归变体的RMS误差为0.715，所有配置下的RMS误差为0.715–0.719，3D重建质量优于先前方法。
• 集合损失通过在增强图像集上正则化预测，相比基线方法将RMS误差降低了约5%，提升了泛化能力与鲁棒性。
• 从预测深度图生成的3D投影相比当前最先进方法表现出显著更少的失真与更丰富的局部结构，即使数值指标相近。
• 网络收敛迅速——深度梯度学习仅需一个训练周期，单张TITAN X GPU上的总训练时间约为70小时，得益于架构设计与跳跃连接，训练速度较快。
• 基于优化的深度与梯度融合方法略优于端到端CNN融合，RMS误差更低（0.715 vs. 0.719），且3D投影保真度更高。
• 尽管数值评分相近，所提方法生成的3D重建在视觉上更准确、更详细，凸显了RMS误差作为唯一评估指标的局限性。