[论文解读] An intelligent modular real-time vision-based system for environment perception

Amirhossein Kazerouni, Amirhossein Heydarian Ardakani+4 more|arXiv (Cornell University)|Mar 29, 2023

Autonomous Vehicle Technology and Safety被引用 6

一句话总结

本文提出了一种模块化、实时的基于视觉的驾驶员辅助系统，通过优化的深度学习模型整合了车道检测、目标检测、语义分割和单目深度估计。该系统在自建数据集和BDD100K上进行微调，所有模块的准确率均超过80%，并以响应迅速的GUI实现实时运行，为全自动驾驶系统提供了一种低成本替代方案。

ABSTRACT

A significant portion of driving hazards is caused by human error and disregard for local driving regulations; Consequently, an intelligent assistance system can be beneficial. This paper proposes a novel vision-based modular package to ensure drivers' safety by perceiving the environment. Each module is designed based on accuracy and inference time to deliver real-time performance. As a result, the proposed system can be implemented on a wide range of vehicles with minimum hardware requirements. Our modular package comprises four main sections: lane detection, object detection, segmentation, and monocular depth estimation. Each section is accompanied by novel techniques to improve the accuracy of others along with the entire system. Furthermore, a GUI is developed to display perceived information to the driver. In addition to using public datasets, like BDD100K, we have also collected and annotated a local dataset that we utilize to fine-tune and evaluate our system. We show that the accuracy of our system is above 80% in all the sections. Our code and data are available at https://github.com/Pandas-Team/Autonomous-Vehicle-Environment-Perception

研究动机与目标

• 通过为驾驶员提供实时环境感知，减少由人为失误和交通规则违规导致的交通事故。
• 开发一种轻量级、模块化的系统，在低成本硬件上高效运行，同时在各种驾驶条件下保持高准确率。
• 将车道检测、目标检测、分割和深度估计等多种感知任务整合到统一的实时处理流程中。
• 通过动态感兴趣区域（ROI）和微调，提升模型在弱光、车道被遮挡或道路标记缺失等复杂场景下的鲁棒性。
• 通过GUI向驾驶员提供可操作的反馈，显示交通标志状态、与障碍物的距离以及交通灯信息。

提出的方法

• 使用PINet进行车道检测，基于BDD100K与新收集的本地数据集组合进行微调，以提升在无车道线或视线受阻场景下的性能。
• 采用YOLOv5实现实时目标检测，识别车辆、行人及15种不同类型的交通标志，针对本地数据集在速度和mAP方面进行优化。
• 采用SGDepth实现语义分割与单目深度估计的联合预测，支持精确的路缘边界检测与距离测量。
• 提出一种新颖的分层方法，利用深度图和分割输出精确计算与附近车辆的距离。
• 引入动态感兴趣区域（ROI）机制，在环境扰动下稳定PINet的预测结果，减少误报。
• 开发实时GUI，可视化检测到的物体、车道位置、交通灯状态以及与障碍物的距离，实现即时驾驶员反馈。

Figure 1: Overview of the proposed system. Continuous lines represent system modules’ main data path, and dashed lines denote the additional data, which aids in the accuracy of the system.

实验结果

研究问题

• RQ1 能否通过整合车道检测、目标检测、分割和深度估计的模块化实时视觉系统，在最小硬件需求下显著提升驾驶员安全？
• RQ2 在自建数据集上对PINet进行微调，相比标准预训练模型，能否显著提升其在低能见度或无车道线道路条件下的性能？
• RQ3 与独立模型相比，使用SGDepth等多任务模型在多任务联合学习中，对分割和深度估计准确率的提升程度如何？
• RQ4 在将多个深度学习模型集成到单一实时处理流水线时，推理速度与准确率之间的权衡关系如何？
• RQ5 所提出的GUI在及时且可操作地向驾驶员传达关键环境信息方面，效果如何？

主要发现

• 该系统在BDD100K和自建本地数据集上，所有四个模块——车道检测、目标检测、分割和深度估计——的准确率均超过80%。
• YOLOv5在本地数据集上的表现优于其他最先进目标检测器，mAP达到96.01%，推理速度达90.9 FPS，是实现实时性能的最优选择。
• 经过本地数据集微调后，PINet在弱光和遮挡场景下的鲁棒性优于CondLaneNet和CLRNet，尽管其FPS略低。
• 动态ROI机制显著提升了PINet在环境扰动下的稳定性与准确性，有效减少了车道检测中的误报。
• 基于SGDepth输出的分层距离计算方法，能够高可靠地实现实时、精确的周围车辆距离估计。
• 即使所有模块均处于激活状态，系统整体仍保持实时性能（FPS > 30），仅偶发帧丢失，表明其具有极强的实际可行性。

Figure 2: The overview of PINet [ 31 ] .