[论文解读] Camera-Radar Perception for Autonomous Vehicles and ADAS: Concepts, Datasets and Metrics

Felipe Manfio Barbosa, Fernando Santos Osório|arXiv (Cornell University)|Mar 8, 2023

Infrared Target Detection Methodologies被引用 5

一句话总结

本综述全面概述了自动驾驶汽车和ADAS中的摄像头-雷达感知技术，涵盖传感器特性、基于深度学习的检测与分割方法、关键数据集、评估指标及挑战。文章强调了雷达及其融合方法尚未被充分挖掘的潜力，指出了数据不平衡与缺乏标准化是主要问题，并倡导构建稳健、多样化且平衡的数据集，以提升真实道路环境下的安全性。

ABSTRACT

One of the main paths towards the reduction of traffic accidents is the increase in vehicle safety through driver assistance systems or even systems with a complete level of autonomy. In these types of systems, tasks such as obstacle detection and segmentation, especially the Deep Learning-based ones, play a fundamental role in scene understanding for correct and safe navigation. Besides that, the wide variety of sensors in vehicles nowadays provides a rich set of alternatives for improvement in the robustness of perception in challenging situations, such as navigation under lighting and weather adverse conditions. Despite the current focus given to the subject, the literature lacks studies on radar-based and radar-camera fusion-based perception. Hence, this work aims to carry out a study on the current scenario of camera and radar-based perception for ADAS and autonomous vehicles. Concepts and characteristics related to both sensors, as well as to their fusion, are presented. Additionally, we give an overview of the Deep Learning-based detection and segmentation tasks, and the main datasets, metrics, challenges, and open questions in vehicle perception.

研究动机与目标

• 解决自动驾驶汽车和ADAS领域中关于基于雷达及摄像头-雷达融合感知的综合性综述缺失问题。
• 分析摄像头和雷达传感器在单独使用及融合时的优势与局限性，尤其在恶劣条件下的表现。
• 整理并评估车辆感知中广泛使用的主流深度学习检测与分割方法。
• 总结现有数据集的特征，包括其模态、覆盖范围（如恶劣条件）、以及数据不平衡和标注负担等挑战。
• 识别开放性挑战，包括评估指标缺乏标准化，以及数据集中弱势道路使用者和低收入地区代表性不足的问题。

提出的方法

• 对自动驾驶汽车和ADAS应用中摄像头与雷达感知相关文献进行系统性综述。
• 对传感器特性进行分类与分析，包括摄像头对光照的敏感性以及雷达在恶劣天气下的鲁棒性。
• 展示并比较用于目标检测与图像分割的深度学习模型，重点聚焦多模态融合技术。
• 整理并评估主要公开数据集，包括其数据模态、规模、标注质量以及对复杂场景的覆盖程度。
• 分析领域内使用的性能评估指标，重点强调mAP、IoU，并指出建立标准化、符合监管要求的评估协议的必要性。
• 通过批判性分析数据集偏差、标注成本及区域代表性差距，识别关键挑战。

实验结果

研究问题

• RQ1 在自动驾驶汽车感知中，摄像头和雷达传感器的核心优势与局限性是什么，尤其是在光照不足和恶劣天气条件下？
• RQ2 当前基于深度学习的检测与分割方法在与雷达数据融合后表现如何？其关键技术挑战有哪些？
• RQ3 在摄像头-雷达感知领域，最具代表性且广泛使用的是哪些数据集？它们在多大程度上解决了或未能解决数据不平衡与真实世界多样性问题？
• RQ4 在不同数据集与基准之间，评估指标的标准化程度如何？这如何影响方法间的公平比较？
• RQ5 在开发鲁棒、可泛化且安全的自动驾驶汽车与ADAS感知系统方面，最紧迫的开放性挑战是什么？

主要发现

• 尽管在低光照和恶劣天气等不利条件下具有提升系统鲁棒性的潜力，基于雷达及摄像头-雷达融合的感知技术仍处于研究的薄弱阶段。
• 数据不平衡是显著问题，大多数大规模数据集中‘汽车’类别占据主导地位，而行人、骑行人等弱势道路使用者则严重代表性不足。
• 分割任务中的标注负担导致大规模分割数据集的稀缺性，远低于检测数据集，这一现象被称为‘数据集标注的诅咒’。
• 大多数数据集采集于发达国家，导致对基础设施不完善、道路结构不规则的低收入及农村地区道路环境代表性差。
• 各基准之间缺乏统一的评估指标，阻碍了感知系统性能的公平且一致的比较。
• 未来的发展依赖于构建平衡、多样化数据集，并采用标准化、符合监管要求的评估指标，以加速安全、鲁棒自动驾驶系统的开发。