[论文解读] Deep RGB-D Canonical Correlation Analysis For Sparse Depth Completion

Yiqi Zhong, Cho-Ying Wu+2 more|arXiv (Cornell University)|Jan 1, 2019

Advanced Vision and Imaging被引用 10

一句话总结

本文提出CFCNet，一种端到端深度学习模型，通过利用二维深度典型相关分析（2D^2CCA）来增强稀疏深度补全性能，学习RGB与深度模态之间的语义对齐特征。通过在特征层面建模跨模态相关性，CFCNet能够利用变换后的RGB特征有效重建缺失的深度值，在具有多样化稀疏深度模式的室内和室外基准测试中实现了最先进性能。

ABSTRACT

In this paper, we propose our Correlation For Completion Network (CFCNet), an end-to-end deep learning model that uses the correlation between two data sources to perform sparse depth completion. CFCNet learns to capture, to the largest extent, the semantically correlated features between RGB and depth information. Through pairs of image pixels and the visible measurements in a sparse depth map, CFCNet facilitates feature-level mutual transformation of different data sources. Such a transformation enables CFCNet to predict features and reconstruct data of missing depth measurements according to their corresponding, transformed RGB features. We extend canonical correlation analysis to a 2D domain and formulate it as one of our training objectives (i.e. 2d deep canonical correlation, or “2D^2CCA loss). Extensive experiments validate the ability and flexibility of our CFCNet compared to the state-of-the-art methods on both indoor and outdoor scenes with different real-life sparse patterns. Codes are available at: https://github.com/choyingw/CFCNet.

研究动机与目标

• 解决利用多模态信息从稀疏深度测量中重建稠密深度图的挑战。
• 改善RGB与深度模态之间的特征级对齐，以实现更精确的深度预测。
• 开发一种可学习的端到端框架，有效建模二维特征空间中的跨模态相关性。
• 将典型相关分析扩展到深度二维域，以在深度补全中获得更好的特征表示。
• 在室内和室外场景中，验证方法在多样化真实世界稀疏深度模式下的鲁棒性。

提出的方法

• CFCNet采用双分支编码器，从RGB和稀疏深度输入中提取特征。
• 引入二维深度典型相关分析（2D^2CCA）损失，以在二维空间域中最大化跨模态特征之间的相关性。
• 通过学习的相关性映射，实现RGB与深度特征之间的特征级相互转换。
• 通过使用变换后的RGB特征重建缺失的深度值，预测稠密深度图。
• 2D^2CCA损失在训练过程中端到端优化，以对齐模态之间的语义对应特征。
• 该框架在具有不同稀疏深度模式的真实世界数据集上进行训练和评估，涵盖室内和室外场景。

实验结果

研究问题

• RQ1 2D深度典型相关分析能否有效提升RGB与深度模态之间用于深度补全的特征对齐？
• RQ2 CFCNet在室内和室外环境中对多样化真实世界稀疏深度模式的泛化能力如何？
• RQ3 学习跨模态特征转换是否相比现有方法能带来更好的缺失深度值重建效果？
• RQ4 2D^2CCA损失在多大程度上增强了模型捕捉语义相关特征的能力？
• RQ5 在标准深度补全基准上，端到端训练结合2D^2CCA损失能否提升性能？

主要发现

• CFCNet在具有多样化稀疏深度模式的室内和室外深度补全基准测试中均实现了最先进性能。
• 2D^2CCA损失显著提升了RGB与深度模态之间的特征相关性，从而提高了重建质量。
• 该模型在真实世界稀疏深度模式下表现出强大的泛化能力，包括不规则且非均匀采样的情况。
• RGB与深度特征之间的特征级相互转换，使得利用语义对齐特征准确预测缺失深度值成为可能。
• 消融实验确认，2D^2CCA损失相较于基线方法对性能提升有显著贡献。
• 该框架在室内和室外场景中均表现有效，表明其对场景复杂性和深度稀疏性的鲁棒性。