[论文解读] Joint Prediction of Depths, Normals and Surface Curvature from RGB Images using CNNs

Thanuja Dharmasiri, Andrew Spek+1 more|arXiv (Cornell University)|Jun 23, 2017

Robot Manipulation and Learning参考文献 23被引用 13

一句话总结

本文提出了一种基于CNN的新型多任务框架，能够从单张RGB图像中联合预测深度、表面法向量和表面曲率，首次证明仅使用RGB数据即可准确估计表面曲率。在保持模型容量恒定的前提下，通过联合训练所有三项任务，该方法实现了最先进性能，主曲率κ₁的均方根误差为2.81 m⁻¹，且80.3%的曲率值在1 m⁻¹阈值范围内。

ABSTRACT

Understanding the 3D structure of a scene is of vital importance, when it comes to developing fully autonomous robots. To this end, we present a novel deep learning based framework that estimates depth, surface normals and surface curvature by only using a single RGB image. To the best of our knowledge this is the first work to estimate surface curvature from colour using a machine learning approach. Additionally, we demonstrate that by tuning the network to infer well designed features, such as surface curvature, we can achieve improved performance at estimating depth and normals.This indicates that network guidance is still a useful aspect of designing and training a neural network. We run extensive experiments where the network is trained to infer different tasks while the model capacity is kept constant resulting in different feature maps based on the tasks at hand. We outperform the previous state-of-the-art benchmarks which jointly estimate depths and surface normals while predicting surface curvature in parallel.

研究动机与目标

• 为了实现仅从单张RGB图像中准确估计表面曲率，这是深度学习领域此前尚未探索的任务。
• 为了探究学习如曲率这类视图不变几何特征是否能提升深度与法向量预测的性能。
• 为了证明精心设计的非手工构造特征在联合训练时可提升深度神经网络的性能。
• 在保持模型容量恒定的同时增加预测任务数量，以验证多任务学习的有效性。

提出的方法

• 采用两阶段深度学习架构，其中粗粒度的深度、法向量和曲率预测结果被用作更精细层的特征图。
• 网络通过多任务学习目标端到端训练，联合优化深度、表面法向量和主曲率的预测。
• 表面曲率直接从RGB输入预测，真实曲率通过深度数据的二阶导数计算得出。
• 采用结合颜色梯度、深度梯度和曲率幅值的边界函数，定性展示其在分割任务中的有效性。
• 在NYUv2数据集上使用标准指标（均方根误差、中位数误差、阈值σ内的预测比例）对模型进行评估。
• 框架采用共享编码器与任务特定解码器结构，联合训练策略引导所有三项任务的特征学习。

实验结果

研究问题

• RQ1 能否使用深度学习从单张RGB图像中准确预测表面曲率？
• RQ2 与单独训练相比，联合训练深度、法向量和曲率是否能提升所有三项任务的性能？
• RQ3 像曲率这样的视图不变几何特征能否作为有用的归纳偏置，以改善深度与法向量估计？
• RQ4 将曲率作为监督信号是否能提升网络的泛化能力与特征表示能力？

主要发现

• 所提出的联合模型在主曲率κ₁上的均方根误差为2.81 m⁻¹，显著优于基线方法（5.56 m⁻¹）和仅预测曲率的模型（3.41 m⁻¹）。
• 联合模型中80.3%的曲率预测值在1 m⁻¹阈值范围内，而仅预测深度的模型为44.2%，仅预测曲率的模型为73.2%。
• 联合训练框架提升了深度与法向量估计的性能，深度预测的均方根误差为6.03 m⁻¹（而仅预测曲率设置下为6.50 m⁻¹）。
• 模型在0.5 m⁻¹阈值范围内的曲率预测比例达到72.7%，表明其在非平面区域具有强噪声鲁棒性与高精度。
• 定性分割结果表明，结合预测的深度与曲率可改善边界检测，尤其在墙面与深度边缘区域优于仅使用颜色的分割方法。
• 结果表明，通过精心设计的特征（如曲率）进行网络引导可增强表征学习，即使这些特征并非手工构造，而是由网络自身预测得出。