[论文解读] Depth Estimation from Monocular Images and Sparse radar using Deep Ordinal Regression Network

Chen-Chou Lo, Patrick Vandewalle|arXiv (Cornell University)|Jul 15, 2021

Advanced Vision and Imaging参考文献 19被引用 33

一句话总结

本文提出一种晚期融合方法，通过使用深度序数回归网络（DORN）将高度扩展的多帧稀疏雷达数据与单目RGB图像融合，以提升密集深度估计性能。通过将雷达点垂直扩展范围从0.5m扩展至0.25–2m，并应用两阶段滤波策略，该方法提高了数据密度并降低了误差，在nuScenes数据集上于白天、夜间及雨天条件下均实现了最先进性能。

ABSTRACT

We integrate sparse radar data into a monocular depth estimation model and introduce a novel preprocessing method for reducing the sparseness and limited field of view provided by radar. We explore the intrinsic error of different radar modalities and show our proposed method results in more data points with reduced error. We further propose a novel method for estimating dense depth maps from monocular 2D images and sparse radar measurements using deep learning based on the deep ordinal regression network by Fu et al. Radar data are integrated by first converting the sparse 2D points to a height-extended 3D measurement and then including it into the network using a late fusion approach. Experiments are conducted on the nuScenes dataset. Our experiments demonstrate state-of-the-art performance in both day and night scenes.

研究动机与目标

• 为解决单目深度估计缺乏绝对深度且存在病态重建的问题，通过整合稀疏雷达数据。
• 克服雷达在深度估计任务中固有的稀疏性、噪声以及有限的垂直视场问题。
• 证明即使未专为多模态输入设计的单目深度模型，也能通过适当的雷达数据预处理和晚期融合获益。
• 利用雷达作为互补模态，提升在夜间和雨天等挑战性条件下的深度估计精度。

提出的方法

• 将多帧雷达数据合并，并将雷达点从单一高度（0.5m）垂直扩展至0.25m至2m的范围，以提升空间覆盖范围和数据密度。
• 应用两阶段滤波策略以去除噪声雷达点，提升高度扩展后雷达测量的质量。
• 采用晚期融合方法将预处理后的高度扩展雷达与RGB图像融合，即在DORN网络编码器阶段后，将RGB与雷达的特征进行拼接。
• DORN模型采用序数回归损失，深度范围为1–80m，使用80个序数类别进行间距递增的离散化。
• 训练过程中应用数据增强技术，包括伽马对比度调整、亮度调节、色彩调整及水平翻转，以提升模型鲁棒性。
• 通过插值方法从稀疏激光雷达和RGB图像生成真实深度标签，评估则基于稀疏激光雷达标注进行。

实验结果

研究问题

• RQ1 尽管可能引入噪声，雷达点的高度扩展是否能提升深度估计精度？
• RQ2 与早期融合或仅RGB基线相比，预处理雷达数据与单目RGB图像的晚期融合是否能带来更优性能？
• RQ3 雷达数据的整合如何影响在夜间和雨天等低能见度条件下的深度估计性能？
• RQ4 即使未明确设计用于多模态融合，单目深度模型是否仍能从雷达输入中获益？

主要发现

• 雷达点高度扩展使平均点数从215提高至4,510，减少了固有误差：δ1从0.350提升至0.187，RMSE从25.536降至12.184。
• 采用高度扩展雷达的晚期融合方法在整体测试集上表现最佳，δ1 = 0.887，RMSE = 5.194，AbsRel = 0.107。
• 所提方法在所有条件下均优于仅RGB基线，其中夜间场景性能提升最大（δ1从0.764提升至0.782）。
• 对高度扩展雷达应用自适应δ2滤波后进一步提升性能，达到δ1 = 0.892，RMSE = 5.082，AbsRel = 0.107，尤其在雨天条件下表现更优。
• 视觉对比显示，所提模型生成的深度图比仅RGB基线更细节丰富，尤其在夜间和雨天场景中。
• 该方法在恶劣天气和光照条件下表现出鲁棒性，白天和夜间场景中均实现一致的性能提升。