[论文解读] FCFR-Net: Feature Fusion based Coarse-to-Fine Residual Learning for Monocular Depth Completion.

Lina Liu, Xibin Song+5 more|arXiv (Cornell University)|Dec 15, 2020

Advanced Vision and Imaging被引用 7

一句话总结

FCFR-Net 提出了一种两阶段、端到端的残差学习框架，用于单目深度补全。首先通过一个简单的卷积神经网络生成粗略的密集深度图，然后利用基于通道混洗的特征融合与基于能量的融合机制进行优化。该方法在 KITTI 基准测试中达到最先进性能，显著提升了现有单阶段方法的深度图精度。

ABSTRACT

Depth completion aims to recover a dense depth map from a sparse depth map with the corresponding color image as input. Recent approaches mainly formulate the depth completion as a one-stage end-to-end learning task, which outputs dense depth maps directly. However, the feature extraction and supervision in one-stage frameworks are insufficient, limiting the performance of these approaches. To address this problem, we propose a novel end-to-end residual learning framework, which formulates the depth completion as a two-stage learning task, i.e., a sparse-to-coarse stage and a coarse-to-fine stage. First, a coarse dense depth map is obtained by a simple CNN framework. Then, a refined depth map is further obtained using a residual learning strategy in the coarse-to-fine stage with coarse depth map and color image as input. Specially, in the coarse-to-fine stage, a channel shuffle extraction operation is utilized to extract more representative features from color image and coarse depth map, and an energy based fusion operation is exploited to effectively fuse these features obtained by channel shuffle operation, thus leading to more accurate and refined depth maps. We achieve SoTA performance in RMSE on KITTI benchmark. Extensive experiments on other datasets future demonstrate the superiority of our approach over current state-of-the-art depth completion approaches.

研究动机与目标

• 为解决单阶段深度补全方法存在的特征提取不足与监督不足的问题。
• 通过将任务分解为稀疏到粗略、再从粗略到精细的两阶段，提升深度图精度。
• 通过在彩色图像与粗略深度特征上应用通道混洗操作，增强特征表示能力。
• 设计一种有效的融合机制，结合多模态特征（彩色与深度），以提升深度预测性能。

提出的方法

• 该框架首先使用一个简单的卷积神经网络，从稀疏深度图和彩色图像输入中生成粗略的密集深度图。
• 在粗略到精细阶段，采用残差学习策略，以彩色图像和粗略深度图为输入，对粗略深度图进行优化。
• 对彩色图像和粗略深度图应用通道混洗操作，以提取更具代表性的特征，增强特征多样性与表示能力。
• 引入基于能量的融合操作，有效结合通道混洗提取的特征，提升融合效率与精度。
• 整个网络采用端到端训练，两阶段均施加监督，以提升学习稳定性和性能。
• 该方法在保证高精度的同时，设计为计算高效，适用于基准数据集。

实验结果

研究问题

• RQ1 两阶段学习框架是否能通过改善特征提取与监督，超越单阶段方法在单目深度补全中的表现？
• RQ2 通道混洗操作如何增强多模态（彩色与深度）特征学习中的特征表示？
• RQ3 基于能量的特征融合对优化后深度图的精度有何影响？
• RQ4 在粗略到精细阶段中，残差学习在多大程度上提升了深度补全性能？
• RQ5 所提出的两阶段设计在不同深度补全基准测试中是否具备良好的泛化能力？

主要发现

• FCFR-Net 在 KITTI 基准测试中以 RMSE 指标达到最先进性能，优于现有方法。
• 两阶段设计实现了更优的特征学习与监督，相比单阶段方法生成了更精确的深度图。
• 通道混洗与基于能量的融合机制的集成，显著提升了特征表示与融合质量。
• 粗略到精细的优化阶段有效降低了深度图误差，尤其在无纹理与遮挡区域表现更优。
• 在额外数据集上的大量实验验证了该方法的泛化能力与优越性。