[论文解读] A system of vision sensor based deep neural networks for complex driving scene analysis in support of crash risk assessment and prevention

Muhammad Monjurul Karim, Yu Li+2 more|arXiv (Cornell University)|Jun 18, 2021

Advanced Neural Network Applications参考文献 19被引用 6

一句话总结

本文提出了一种基于视觉传感器的深度学习系统，整合了Multi-Net、YOLO v3和DeepLab v3，以实现实时复杂驾驶场景分析，用于碰撞风险评估与预防。该研究引入了两个新颖且公开可用的数据集，分别用于碰撞可能性和道路功能分类，实现了92.5%的场景分类准确率，并在目标检测与分类任务中达到6 fps的实时推理速度。

ABSTRACT

To assist human drivers and autonomous vehicles in assessing crash risks, driving scene analysis using dash cameras on vehicles and deep learning algorithms is of paramount importance. Although these technologies are increasingly available, driving scene analysis for this purpose still remains a challenge. This is mainly due to the lack of annotated large image datasets for analyzing crash risk indicators and crash likelihood, and the lack of an effective method to extract lots of required information from complex driving scenes. To fill the gap, this paper develops a scene analysis system. The Multi-Net of the system includes two multi-task neural networks that perform scene classification to provide four labels for each scene. The DeepLab v3 and YOLO v3 are combined by the system to detect and locate risky pedestrians and the nearest vehicles. All identified information can provide the situational awareness to autonomous vehicles or human drivers for identifying crash risks from the surrounding traffic. To address the scarcity of annotated image datasets for studying traffic crashes, two completely new datasets have been developed by this paper and made available to the public, which were proved to be effective in training the proposed deep neural networks. The paper further evaluates the performance of the Multi-Net and the efficiency of the developed system. Comprehensive scene analysis is further illustrated with representative examples. Results demonstrate the effectiveness of the developed system and datasets for driving scene analysis, and their supportiveness for crash risk assessment and crash prevention.

研究动机与目标

• 为解决复杂驾驶场景中碰撞风险指标和碰撞可能性缺乏标注数据集的问题。
• 开发一种实时、多任务的深度学习系统，以增强自动驾驶车辆和人类驾驶员的情境感知能力。
• 通过基于碰撞可能性、道路功能、天气和一天中时间的场景分类，改进碰撞风险评估。
• 利用目标检测和实例分割技术检测并定位危险行人及最近的车辆。
• 通过整合多任务分类与目标检测和分割，克服现有系统在综合场景理解方面的局限性。

提出的方法

• 采用两个多任务深度神经网络构建Multi-Net模型，将驾驶场景分类为四种类别：碰撞可能性、道路功能、天气和一天中时间。
• 集成YOLO v3实现实时行人和车辆的目标检测，危险行人用红色边界框突出显示，安全行人用绿色标记。
• 结合DeepLab v3进行实例分割，以识别可行驶区域，并支持对危险要素的精确定位。
• 设计两步推理流程：首先通过DeepLab v3以2 fps的速度进行图像分割，然后通过Multi-Net和YOLO v3以6 fps的速度进行分类与目标检测。
• 创建了两个全新且完全标注的数据集：一个用于碰撞相关场景分类（无碰撞、预碰撞、碰撞），另一个用于道路功能分类（高速公路、集散路、本地道路等）。
• 通过将分割输出存储在磁盘上，优化内存使用，以减少推理过程中的GPU内存占用。

实验结果

研究问题

• RQ1 多任务深度神经网络能否有效基于碰撞可能性、道路功能、天气和一天中时间对复杂驾驶场景进行分类？
• RQ2 YOLO v3和DeepLab v3在实时检测和定位危险行人及最近车辆方面能达到多高的准确度？
• RQ3 新开发的数据集在多大程度上提升了深度学习模型在碰撞风险评估任务中的性能？
• RQ4 该集成系统的推理速度是多少？是否能够支持实时驾驶场景分析？
• RQ5 如何将可行驶区域分割与目标检测相结合，以增强碰撞预防的情境感知能力？

主要发现

• Multi-Net在碰撞可能性与道路功能数据集上实现了92.5%的场景分类准确率，表明其在多标签分类任务中表现优异。
• 系统成功检测并突出显示了危险行人：当行人位于行车道上或可行驶区域外时，用红色边界框标记；安全行人则用绿色标记。
• 系统精确计算了到危险行人的距离（例如示例场景中分别为10.23英尺和5.07英尺）以及到最近车辆的距离（例如4.63英尺和14.34英尺），支持风险感知决策。
• 推理速度达到6 fps，用于分类与目标检测任务，尽管实例分割存在2 fps的瓶颈，仍可实现实时分析。
• 新开发的两个数据集在训练深度神经网络方面表现有效，且已公开发布，可支持未来驾驶场景分析研究。
• 该系统展示了检测并定位与碰撞相关要素（如行人和车辆）的能力，显著提升了碰撞风险预防的情境感知水平。