[论文解读] MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review

Zhiqing Wei, Fengkai Zhang+4 more|arXiv (Cornell University)|Aug 6, 2021

Advanced Neural Network Applications参考文献 77被引用 5

一句话总结

本文综述了毫米波雷达与视觉融合技术在自动驾驶三维目标检测中的应用，将融合方法分类为数据级、特征级和决策级方法。文章强调了雷达（在恶劣天气下表现稳健）与视觉（提供丰富的纹理和形状细节）的互补优势，并探讨了激光雷达-视觉融合及多模态感知等新兴趋势，以提升检测精度与鲁棒性。

ABSTRACT

With autonomous driving developing in a booming stage, accurate object detection in complex scenarios attract wide attention to ensure the safety of autonomous driving. Millimeter wave (mmWave) radar and vision fusion is a mainstream solution for accurate obstacle detection. This article presents a detailed survey on mmWave radar and vision fusion based obstacle detection methods. First, we introduce the tasks, evaluation criteria, and datasets of object detection for autonomous driving. The process of mmWave radar and vision fusion is then divided into three parts: sensor deployment, sensor calibration, and sensor fusion, which are reviewed comprehensively. Specifically, we classify the fusion methods into data level, decision level, and feature level fusion methods. In addition, we introduce three-dimensional(3D) object detection, the fusion of lidar and vision in autonomous driving and multimodal information fusion, which are promising for the future. Finally, we summarize this article.

研究动机与目标

• 提供对自动驾驶中毫米波雷达与视觉融合方法用于目标检测的全面综述。
• 分析复杂驾驶场景中的挑战，包括恶劣天气、遮挡以及目标尺度变化。
• 对数据级、特征级和决策级集成中的融合策略进行分类与比较。
• 研究三维目标检测的作用，以及激光雷达与视觉、雷达融合在提升感知能力中的应用。
• 探索多模态信息融合作为未来提升自动驾驶感知鲁棒性的有前景方向。

提出的方法

• 本文系统性回顾了现有毫米波雷达与视觉融合的文献，重点关注传感器部署、标定及融合策略。
• 将融合技术分为三个层级：数据级（原始信号的早期融合）、特征级（深度特征的拼接）和决策级（检测结果的融合）。
• 分析了利用雷达点云和相机特征来估计三维空间中边界框的三维目标检测方法。
• 研究了激光雷达-视觉融合技术，例如利用激光雷达生成目标建议，供基于图像的检测网络使用。
• 将原始雷达、视觉和激光雷达数据视为独立的感官模态，共同处理，探讨多模态融合方法。
• 采用标准指标（如mAP、IoU和MaxF分数）评估性能，并引用KITTI等基准数据集。

实验结果

研究问题

• RQ1 在恶劣天气和遮挡条件下，毫米波雷达与视觉如何在目标检测中实现互补？
• RQ2 在雷达-视觉系统中，数据级、特征级和决策级融合之间的关键差异与权衡是什么？
• RQ3 如何通过融合毫米波雷达与视觉数据来提升三维目标检测性能？
• RQ4 激光雷达-视觉融合在提升自动驾驶中检测精度与鲁棒性方面发挥什么作用？
• RQ5 在自动驾驶感知系统中，多模态信息融合面临哪些挑战与机遇？

主要发现

• 毫米波雷达在雾、雨、雪等恶劣天气下仍能保持可靠的检测性能，而视觉传感器性能显著下降。
• 特征级融合方法（如空间注意力融合，SAF）通过有效对齐雷达与视觉特征，提升了检测精度。
• 激光雷达-视觉融合方法（如基于点云的建议）在KITTI数据集上实现了96.03%的MaxF分数（用于道路分割）。
• 雷达与视觉的数据级融合可实现原始传感器信号的早期整合，保留更多信息，提升检测一致性。
• 将原始雷达数据（未经后处理）与视觉数据进行多模态融合，相比使用处理后的雷达输出，能更好地保留环境信息。
• 基于深度学习的融合网络（包括DCNN和全卷积网络FCN）在目标分类与检测任务中优于传统手工设计特征方法。