[论文解读] MmWave Radar and Vision Fusion based Object Detection for Autonomous Driving: A Survey

Zhiqing Wei, Fengkai Zhang+4 more|arXiv (Cornell University)|Aug 6, 2021

Advanced Neural Network Applications参考文献 49被引用 2

一句话总结

本综述回顾了毫米波雷达与视觉融合技术在自动驾驶目标检测中的应用，将融合方法分类为数据级、特征级和决策级。分析了传感器部署、标定与融合工作流程，强调了雷达与视觉在复杂环境中实现稳健障碍物检测的协同作用。

ABSTRACT

With autonomous driving developing in a booming stage, accurate object detection in complex scenarios attract wide attention to ensure the safety of autonomous driving. Millimeter wave (mmWave) radar and vision fusion is a mainstream solution for accurate obstacle detection. This article presents a detailed survey on mmWave radar and vision fusion based obstacle detection methods. Firstly, we introduce the tasks, evaluation criteria and datasets of object detection for autonomous driving. Then, the process of mmWave radar and vision fusion is divided into three parts: sensor deployment, sensor calibration and sensor fusion, which are reviewed comprehensively. Especially, we classify the fusion methods into data level, decision level and feature level fusion methods. Besides, we introduce the fusion of lidar and vision in autonomous driving in the aspects of obstacle detection, object classification and road segmentation, which is promising in the future. Finally, we summarize this article.

研究动机与目标

• 提供对自动驾驶中毫米波雷达与视觉融合方法用于目标检测的全面综述。
• 分析融合的三个核心阶段：传感器部署、标定与融合策略。
• 对数据级、特征级和决策级融合技术进行分类与比较。
• 探讨结合激光雷达与视觉以增强自动驾驶系统感知能力的潜力。
• 总结当前挑战与多模态传感器融合在自动驾驶感知中的未来研究方向。

提出的方法

• 本文系统性回顾了自动驾驶中现有目标检测框架，重点关注毫米波雷达与视觉的集成。
• 将融合策略分类为三个层级：数据级、特征级和决策级融合。
• 评估了实现多传感器精确对齐所必需的传感器部署配置与标定技术。
• 考察了自动驾驶研究中使用的数据集、评估指标与基准测试协议。
• 对比了雷达-视觉融合与激光雷达-视觉融合，讨论了它们在目标检测、分类与道路分割方面的各自优势。
• 综合各研究的发现，以识别当前融合方法论中的趋势与空白。

实验结果

研究问题

• RQ1 在毫米波雷达与视觉融合中，数据级、特征级与决策级融合方法在性能与复杂度方面如何比较？
• RQ2 自动驾驶车辆中雷达-视觉系统在传感器标定与部署方面面临哪些关键挑战？
• RQ3 在精度与鲁棒性方面，激光雷达-视觉融合与雷达-视觉融合相比如何？
• RQ4 用于基准测试自动驾驶中目标检测的常用评估标准与数据集有哪些？
• RQ5 自动驾驶感知中多模态传感器融合的未来研究方向是什么？

主要发现

• 综述识别出数据级、特征级与决策级融合为主要方法，各自在精度与计算成本之间存在不同的权衡。
• 传感器正确标定与部署对于实现在真实驾驶环境中的高精度目标检测至关重要。
• 特征级融合通常优于决策级融合，因其能利用共享表征。
• 激光雷达-视觉融合在3D目标检测与道路分割等高级任务中展现出强大潜力，尽管其研究探索程度低于雷达-视觉融合。
• 毫米波雷达与视觉的融合可提升恶劣天气与低能见度条件下的系统鲁棒性。
• 本文结论认为，尽管雷达-视觉融合技术已成熟并被广泛采用，但未来系统可能受益于融合激光雷达的混合传感器架构。