[论文解读] Deformable spatial propagation network for depth completion

Zheyuan Xu, Hongche Yin+1 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Vision and Imaging参考文献 20被引用 10

一句话总结

本文提出一种可变形空间传播网络（DSPN）用于深度补全，通过可学习偏移量学习自适应感受野和关联矩阵，实现更高效、更精确的稀疏深度图优化，且迭代次数更少。在KITTI基准测试中，DSPN以766.74的RMSE和1.03的iMAE达到最先进性能，优于包括CSPN在内的先前方法。

ABSTRACT

Depth completion has attracted extensive attention recently due to the development of autonomous driving, which aims to recover dense depth map from sparse depth measurements. Convolutional spatial propagation network (CSPN) is one of the state-of-the-art methods in this task, which adopt a linear propagation model to refine coarse depth maps with local context. However, the propagation of each pixel occurs in a fixed receptive field. This may not be the optimal for refinement since different pixel needs different local context. To tackle this issue, in this paper, we propose a deformable spatial propagation network (DSPN) to adaptively generates different receptive field and affinity matrix for each pixel. It allows the network obtain information with much fewer but more relevant pixels for propagation. Experimental results on KITTI depth completion benchmark demonstrate that our proposed method achieves the state-of-the-art performance.

研究动机与目标

• 为解决现有深度补全方法（如CSPN）中固定感受野的局限性，其在优化过程中可能引入无关上下文。
• 通过数据驱动方式学习像素特定的自适应感受野和关联矩阵，提升深度图优化效果。
• 通过实现更相关、局部化的信息流，降低对大感受野和大量传播迭代的依赖。
• 通过学习的置信度分支减轻LiDAR测量中的传感器噪声对稀疏深度输入的影响。
• 在KITTI深度补全基准上实现最先进性能，提升细节恢复能力并降低误差。

提出的方法

• 提出一种可变形空间传播机制，其中每个像素的感受野偏移量端到端预测，实现传播过程中非均匀、自适应的空间采样。
• 基于特征相似性学习像素特定的关联矩阵，用可学习的、类注意力的动态机制替代CSPN中的固定卷积核。
• 采用双分支优化网络：一个用于预测偏移量，另一个用于计算自适应关联权重，两者均基于共享编码器的特征进行条件化。
• 引入置信度分支以预测稀疏深度测量的可靠性掩码，用于在优化过程中保留真实值。
• 使用可微分传播层进行迭代优化，结合基于学习偏移量和关联权重选择的像素特征。
• 将DSPN集成到端到端框架中，以稀疏深度图和RGB图像为输入，生成更精确、细节更丰富的稠密深度图。

实验结果

研究问题

• RQ1 与空间传播中固定大小邻域相比，自适应、可变形感受野是否能提升深度补全性能？
• RQ2 基于特征相似性的动态关联矩阵学习是否能带来更有效、更高效的深度优化？
• RQ3 针对稀疏深度测量的置信度分支是否能降低传感器噪声影响并提升鲁棒性？
• RQ4 与CSPN相比，所提方法对传播迭代次数和感受野大小的敏感性如何？
• RQ5 所提DSPN是否在KITTI深度补全基准上达到最先进性能？

主要发现

• 所提DSPN在KITTI基准测试中达到766.74的测试集RMSE和1.03的iMAE，RMSE和iMAE指标均优于对比方法，排名第一。
• 相比CSPN，RMSE从814.71显著降低至766.74，相对提升5.18%，性能提升明显。
• 移除置信度分支后RMSE增加5.18点，证明其在缓解LiDAR测量噪声方面的有效性。
• DSPN在更少迭代次数（如12次）和更小感受野（3×3）下仍取得优异结果，表明其对超参数的敏感性低于CSPN。
• 视觉对比显示，DSPN能恢复更精细的细节，并在放大区域（尤其是物体边界）减少误差。
• 消融实验表明，DSPN对迭代次数和感受野大小的敏感性更低，体现出更强的鲁棒性与效率。