[论文解读] Advancing Autonomous Driving: DepthSense with Radar and Spatial Attention

Muhammad Ishfaq Hussain, Naz, Zubia+2 more|arXiv (Cornell University)|Sep 11, 2021

Advanced Vision and Imaging参考文献 31被引用 8

一句话总结

该论文提出RVMDE，一种通过后期融合策略将稀疏雷达数据与多尺度图像特征融合的雷达验证单目深度估计方法，采用轻量化、参数高效的特征金字塔网络（FPN）变体。通过引入校准的、高度扩展的雷达标记并应用序数回归，该模型在nuScenes数据集上实现了最先进性能，参数量更少、推理速度更快，展现出在复杂环境下的鲁棒性。

ABSTRACT

Depth perception is crucial for spatial understanding and has traditionally been achieved through stereoscopic imaging. However, the precision of depth estimation using stereoscopic methods depends on the accurate calibration of binocular vision sensors. Monocular cameras, while more accessible, often suffer from reduced accuracy, especially under challenging imaging conditions. Optical sensors, too, face limitations in adverse environments, leading researchers to explore radar technology as a reliable alternative. Although radar provides coarse but accurate signals, its integration with fine-grained monocular camera data remains underexplored. In this research, we propose DepthSense, a novel radar-assisted monocular depth enhancement approach. DepthSense employs an encoder-decoder architecture, a Radar Residual Network, feature fusion with a spatial attention mechanism, and an ordinal regression layer to deliver precise depth estimations. We conducted extensive experiments on the nuScenes dataset to validate the effectiveness of DepthSense. Our methodology not only surpasses existing approaches in quantitative performance but also reduces parameter complexity and inference times. Our findings demonstrate that DepthSense represents a significant advancement over traditional stereo methods, offering a robust and efficient solution for depth estimation in autonomous driving. By leveraging the complementary strengths of radar and monocular camera data, DepthSense sets a new benchmark in the field, paving the way for more reliable and accurate spatial perception systems.

研究动机与目标

• 通过整合粗略但可靠的雷达信号，解决单目深度估计的病态问题，以提升准确性和鲁棒性。
• 提出一种低成本、高效的替代方案，克服立体视觉对严格校准的要求以及LiDAR的高成本问题。
• 通过利用雷达在环境退化下的抗干扰能力，提升光学传感器失效条件下的深度估计性能。
• 开发一种参数高效的FPN变体，将多尺度图像特征与雷达数据融合，以最小计算成本提升特征表示能力。
• 通过类激活图（CAM）和序数回归验证雷达标记在引导深度估计中的有效性。

提出的方法

• 提出一种改进的特征金字塔网络（FPN），使用上采样的低层特征而非高层特征，以减少参数量，同时保持空间和尺度不变性。
• 采用后期融合策略，在各自CNN编码器处理后，将雷达处理后的特征与编码的RGB图像特征进行拼接。
• 采用基于启发式的方法对雷达点云进行高度扩展，以改善与RGB图像的空间对齐，随后通过CNN进行特征学习。
• 在多个尺度上通过拼接融合编码后的图像与雷达特征，随后通过序数回归将深度预测从回归任务转化为分类任务。
• 利用GRAD-CAM++与序数回归输出生成类激活图，可视化雷达验证区域在深度估计决策中的贡献。
• 使用nuScenes数据集中的LiDAR数据作为训练和评估的真值，确保相机、雷达与LiDAR模态之间的同步。

实验结果

研究问题

• RQ1 雷达数据是否能通过提供粗略但可靠的深度信号，在病态的单视角场景中有效引导单目深度估计？
• RQ2 雷达标记（尤其是高度扩展的雷达标记）的整合如何提升深度预测的空间定位精度？
• RQ3 在与雷达数据融合时，轻量化、参数减少的FPN变体是否优于标准FPN？
• RQ4 类激活图（CAM）在多大程度上证实了雷达验证区域在深度估计决策中起积极作用？
• RQ5 该方法对传感器校准误差（尤其是雷达-相机对齐误差）的鲁棒性如何？

主要发现

• 所提出的RVMDE模型在nuScenes数据集上的单目深度估计任务中达到最先进性能，定量评估结果优于现有SOTA方法。
• 与标准FPN架构相比，该模型显著减少了参数量，同时保持或提升了深度估计精度。
• 后期融合策略在消融实验中被证实优于早期或中层融合策略，性能更优。
• 类激活图（CAM）表明，对应雷达标记的区域在深度预测中积极参与，验证了雷达数据在引导网络中的有效性。
• 该模型对雷达数据中的合成校准误差表现出鲁棒性，表明其对传感器融合中轻微错位具有较强容忍能力。
• 序数回归的使用使深度预测更加稳定且泛化能力更强，尤其在远距离深度估计中表现优异，如35m、55m和70m处的定性结果所示。