[论文解读] Depth Estimation from Monocular Images and Sparse Radar Data

Juan-Ting Lin, Dengxin Dai+1 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Vision and Imaging参考文献 44被引用 4

一句话总结

本文提出了一种两阶段深度学习方法，通过融合单目RGB图像与稀疏、噪声较多的雷达数据，提升密集深度估计性能。通过引入去噪模块和平滑损失，模型有效处理了雷达数据的噪声问题——在nuScenes数据集上，尤其在低光照条件下，优于仅使用RGB图像的方法以及现有的基于LiDAR的融合方法。

ABSTRACT

In this paper, we explore the possibility of achieving a more accurate depth estimation by fusing monocular images and Radar points using a deep neural network. We give a comprehensive study of the fusion between RGB images and Radar measurements from different aspects and proposed a working solution based on the observations. We find that the noise existing in Radar measurements is one of the main key reasons that prevents one from applying the existing fusion methods developed for LiDAR data and images to the new fusion problem between Radar data and images. The experiments are conducted on the nuScenes dataset, which is one of the first datasets which features Camera, Radar, and LiDAR recordings in diverse scenes and weather conditions. Extensive experiments demonstrate that our method outperforms existing fusion methods. We also provide detailed ablation studies to show the effectiveness of each component in our method.

研究动机与目标

• 解决在户外环境中利用噪声多、稀疏的雷达数据进行密集深度估计的挑战。
• 探究为何现有LiDAR-RGB融合方法在应用于雷达-RGB融合时会失效。
• 开发一种鲁棒的、端到端的深度学习框架，有效利用雷达数据以提升深度预测精度。
• 在不同光照和天气条件下，于nuScenes数据集上验证所提方法的有效性。

提出的方法

• 该方法采用两阶段架构：首先对稀疏雷达测量值进行去噪与优化，然后将其与RGB特征融合以进行深度预测。
• 提出一种新型去噪模块，在融合前过滤掉噪声雷达点，以应对雷达数据质量的关键挑战。
• 第一阶段使用平滑损失对深度预测进行正则化，提升局部一致性，增强对异常值的鲁棒性。
• 通过将RGB分支与去噪雷达分支的特征图进行拼接，实现后期融合，随后通过解码器生成密集深度输出。
• 网络采用多任务损失进行训练，结合L1损失和平滑性正则化，以提升泛化能力。
• 在nuScenes数据集上使用标准指标（包括RMSE、MAE、δ1、δ2、REL和MAElog）对模型进行评估。

实验结果

研究问题

• RQ1 为何现有LiDAR-RGB融合方法在应用于雷达-RGB融合时会失效？
• RQ2 能否有效利用稀疏且噪声多的雷达数据来提升单目深度估计性能？
• RQ3 在融合单目图像与雷达数据时，哪些组件对实现鲁棒的深度估计至关重要？
• RQ4 所提方法在夜间等挑战性条件下表现如何？

主要发现

• 所提出的两阶段模型结合去噪模块和平滑损失，在夜间数据上相比仅使用RGB的基线模型，MAElog指标相对提升了19.79%。
• 在白天子集上，该方法相比仅使用RGB的基线模型，RMSE降低7.54%，MAE降低18.14%。
• 消融实验表明，去噪模块和平滑损失均至关重要，若禁用任一模块，性能均出现显著下降。
• 定性结果表明，与CSPN和Sparse-to-dense相比，所提方法在低光照条件下能更好地保留深度图中的细节。
• 使用原始雷达数据的早期融合基线模型性能甚至劣于仅使用RGB的模型，凸显了对噪声雷达输入进行预处理的必要性。
• 当适配至雷达数据时，该方法优于最先进的RGB+LiDAR融合模型（如CSPN、Sparse-to-dense），证明了其在雷达-RGB融合中的有效性。