[论文解读] Depth Completion from Sparse LiDAR Data with Depth-Normal Constraints

Yan Xu, Xinge Zhu+4 more|arXiv (Cornell University)|Oct 15, 2019

Advanced Vision and Imaging参考文献 13被引用 16

一句话总结

该论文提出了一种统一的CNN框架，通过联合预测深度、表面法线和置信度图，从稀疏LiDAR数据中完成深度补全，随后利用一种几何感知的扩散模块，借助深度-法线约束对结果进行优化。该方法在KITTI和NYU-Depth-V2数据集上均取得了最先进性能，表现出对噪声的鲁棒性，并在室内和室外场景中均具有良好的泛化能力。

ABSTRACT

Depth completion aims to recover dense depth maps from sparse depth measurements. It is of increasing importance for autonomous driving and draws increasing attention from the vision community. Most of existing methods directly train a network to learn a mapping from sparse depth inputs to dense depth maps, which has difficulties in utilizing the 3D geometric constraints and handling the practical sensor noises. In this paper, to regularize the depth completion and improve the robustness against noise, we propose a unified CNN framework that 1) models the geometric constraints between depth and surface normal in a diffusion module and 2) predicts the confidence of sparse LiDAR measurements to mitigate the impact of noise. Specifically, our encoder-decoder backbone predicts surface normals, coarse depth and confidence of LiDAR inputs simultaneously, which are subsequently inputted into our diffusion refinement module to obtain the final completion results. Extensive experiments on KITTI depth completion dataset and NYU-Depth-V2 dataset demonstrate that our method achieves state-of-the-art performance. Further ablation study and analysis give more insights into the proposed method and demonstrate the generalization capability and stability of our model.

研究动机与目标

• 通过引入深度与表面法线之间的三维几何约束，提升深度补全的精度。
• 增强对稀疏LiDAR测量中传感器噪声的鲁棒性。
• 开发一种统一的端到端学习框架，联合预测深度、法线和置信度。
• 实现在包括室内和室外环境在内的多样化场景中稳定且可泛化的深度补全。
• 以可微分的、几何感知的优化机制替代启发式后处理。

提出的方法

• 采用共享编码器-多解码器架构，从稀疏深度输入中预测粗粒度的深度、表面法线和置信度图。
• 提出一种新型各向异性的扩散模块，基于像素间高维特征相似性建模导通率。
• 采用非对称导通函数，其中相似性通过源像素和目标像素的特征共同计算。
• 在平面-原点距离空间中应用扩散过程，假设每个平面上的深度为分段常数，以保证几何一致性。
• 在扩散过程中引入置信度图作为加权因子，以抑制来自噪声LiDAR点的误差传播。
• 采用多任务损失联合监督深度、法线和置信度，对整个网络进行端到端训练。

实验结果

研究问题

• RQ1 深度与表面法线之间的几何约束是否能提升深度补全性能？
• RQ2 在深度补全过程中，如何有效缓解稀疏LiDAR测量中的噪声影响？
• RQ3 可微分的、基于扩散的优化模块是否能优于标准的2D优化方法？
• RQ4 所提方法在包括室内和室外环境在内的多样化场景中是否具有良好泛化能力？
• RQ5 性能对置信度预测超参数和优化迭代次数的敏感性如何？

主要发现

• 所提方法在KITTI深度补全基准上达到最先进性能，使用ResNet-50编码器时测试RMSE为0.112 mm。
• 在NYU-Depth-V2数据集上，该方法实现RMSE为0.112 mm，δ1.25准确率达到99.5%，优于以往的CNN方法和经典方法。
• 消融实验表明，置信度预测显著提升了模型鲁棒性，若移除该模块，性能下降超过10%。
• 采用非对称导通的扩散模块优于对称形式及其它相似性函数（如欧氏距离、点积）。
• 模型在不同输入稀疏度水平下均保持稳定性能，即使在原始采样率的1/10时仍能生成合理结果。
• 随着迭代次数增加，优化过程趋于稳定并持续提升性能，甚至超过训练阶段的性能表现。