[论文解读] RadSegNet: A Reliable Approach to Radar Camera Fusion

Kshitiz Bansal, Keshav Rungta+1 more|arXiv (Cornell University)|Aug 8, 2022

Infrared Target Detection Methodologies被引用 10

一句话总结

RadSegNet 提出了一种新颖的雷达-相机融合框架，通过语义点网格（SPG）表示法独立地从相机图像和雷达点云中提取语义特征，即使在相机输入因遮挡或恶劣天气而退化时也能实现鲁棒的目标检测。在 Astyx 数据集上，其平均精度比最先进方法高出 27%，在 RADIATE 数据集上提升了 41.46%，当在混合数据上训练时，在恶劣天气条件下的性能提升达 126%。

ABSTRACT

Perception systems for autonomous driving have seen significant advancements in their performance over last few years. However, these systems struggle to show robustness in extreme weather conditions because sensors like lidars and cameras, which are the primary sensors in a sensor suite, see a decline in performance under these conditions. In order to solve this problem, camera-radar fusion systems provide a unique opportunity for all weather reliable high quality perception. Cameras provides rich semantic information while radars can work through occlusions and in all weather conditions. In this work, we show that the state-of-the-art fusion methods perform poorly when camera input is degraded, which essentially results in losing the all-weather reliability they set out to achieve. Contrary to these approaches, we propose a new method, RadSegNet, that uses a new design philosophy of independent information extraction and truly achieves reliability in all conditions, including occlusions and adverse weather. We develop and validate our proposed system on the benchmark Astyx dataset and further verify these results on the RADIATE dataset. When compared to state-of-the-art methods, RadSegNet achieves a 27% improvement on Astyx and 41.46% increase on RADIATE, in average precision score and maintains a significantly better performance in adverse weather conditions

研究动机与目标

• 解决现有雷达-相机融合方法在相机输入因遮挡或恶劣天气而退化时鲁棒性差的问题。
• 设计一种融合系统，通过解耦相机与雷达的特征提取，保持可靠性能。
• 通过独立处理，利用相机（语义丰富性）与雷达（全天候可靠性）的互补优势。
• 在清晰和恶劣天气条件下，于基准数据集上验证系统性能。
• 证明独立信息提取可显著提升复杂场景下的泛化能力和可靠性。

提出的方法

• RadSegNet 使用鸟瞰图（BEV）表示法处理雷达数据，以提升遮挡和远距离检测性能。
• 使用最先进模型对 RGB 相机图像进行语义分割，以提取丰富的纹理和语义特征。
• 提出一种新颖的语义点网格（SPG）表示法，将基于相机的语义特征投影到 3D 雷达点云空间，实现在无需深度监督情况下的跨模态对齐。
• 系统并行处理相机与雷达输入，通过保持语义分割与检测之间的一帧延迟，最大限度减少延迟。
• 通过 CFAR 检测将雷达强度图转换为 2D 点云，利用传感器高度作为 z 坐标，形成 3D 点云。
• 通过结合基于雷达的检测结果与 SPG 编码的语义先验，实现融合，即使在相机特征退化时也能实现鲁棒检测。

实验结果

研究问题

• RQ1 当相机输入因恶劣天气或遮挡而退化时，雷达-相机融合系统是否仍能保持高性能？
• RQ2 与联合或同步融合相比，从相机和雷达中独立提取特征是否能提升系统可靠性？
• RQ3 所提出的 SPG 表示法如何在无需深度监督的情况下实现有效的跨模态特征融合？
• RQ4 在清晰和恶劣天气数据上联合训练在多大程度上提升了雷达-相机融合系统的泛化能力？
• RQ5 该系统是否能在多种雷达类型和具有挑战性的环境条件下保持高精度？

主要发现

• 与最先进方法相比，RadSegNet 在 Astyx 数据集上的平均精度提升了 27%。
• 在 RADIATE 数据集上，当在清晰+恶劣天气数据上进行训练和测试时，RadSegNet 的平均精度提高了 41.46%。
• 当仅在清晰数据上训练时，RadSegNet 在恶劣天气样本上的性能相比 AVOD-fusion 的 25.34% 提升，实现了 126% 的性能提升。
• 如 RADIATE 上的定性结果所示，该系统在密集交通、恶劣天气和低光照条件下均保持了鲁棒的检测性能。
• 独立提取设计使得当相机特征完全损坏时，系统可平稳降级为仅依赖雷达的检测模式。
• SPG 表示法实现了有效语义先验向雷达点云的投影，显著提升了检测精度，且无需依赖深度监督。