[论文解读] Deep Learning based Computer Vision Methods for Complex Traffic Environments Perception: A Review

Talha Azfar, Jinlong Li+4 more|arXiv (Cornell University)|Nov 9, 2022

Traffic Prediction and Management Techniques被引用 7

一句话总结

本文综述了用于智能交通系统和自动驾驶的基于深度学习的计算机视觉方法，识别出数据、模型设计以及复杂城市环境中的关键挑战。提出了实用解决方案，如迁移学习、协同感知和边缘计算，强调需要具备鲁棒性、可解释性和实时性的模型，以实现在真实交通场景中的可靠部署。

ABSTRACT

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

研究动机与目标

• 识别并分类在真实复杂交通环境中部署基于深度学习的计算机视觉所面临的关键挑战。
• 分析数据收集、标注、偏差和隐私方面的局限性，这些因素阻碍了模型的泛化能力和实际性能。
• 评估深度学习模型在计算复杂性、缺乏可解释性以及对未见场景泛化能力差方面的不足。
• 考察遮挡、光照变化、传感器退化以及异构交通等环境因素如何降低模型的可靠性。
• 提出未来研究方向，重点关注实际部署，包括迁移学习、协同感知和边缘计算。

提出的方法

• 对超过200篇关于智能交通系统和自动驾驶中计算机视觉的深度学习论文进行了全面的文献综述。
• 将挑战分类为三类：与数据相关（收集、标注、偏差、隐私）、与模型相关（复杂性、缺乏可解释性、可测试性）、与环境相关（遮挡、光照、传感器故障）。
• 回顾了代表性应用，如交通流估计、拥堵检测、自动驾驶车辆感知，以及用于实时部署的边缘计算。
• 评估了领域自适应、少样本学习、零样本学习和视觉变换器等技术，以提高模型的鲁棒性和泛化能力。
• 探索了利用V2X网络和视觉变换器的协同感知，以增强联网自动驾驶车辆的感知能力。
• 提出了未来方向，包括在线学习、多源数据融合和自适应特征聚合，以改善多目标跟踪和异常检测。

Figure 1: Applications of deep learning based computer vision methods in transportation and associated challenges in real world deployment.

实验结果

研究问题

• RQ1 影响深度学习模型在真实交通环境中部署的主要数据相关挑战是什么？
• RQ2 模型复杂性、缺乏可解释性以及泛化能力差如何限制深度学习在智能交通系统和自动驾驶中的实际应用？
• RQ3 复杂的都市环境因素（如遮挡、光照变化和传感器退化）在哪些方面会降低模型性能？
• RQ4 哪些技术可以提高模型在未见或罕见交通场景下的鲁棒性和泛化能力？
• RQ5 协同感知和边缘计算如何增强复杂交通环境中实时、可靠的感知能力？

主要发现

• 数据挑战包括高容量数据收集、偏差或过度代表的类别、耗时的标注过程以及隐私问题，这些都阻碍了模型的泛化能力。
• 深度学习模型通常面临高计算复杂性、缺乏可解释性以及在真实条件下难以测试的问题，限制了其可部署性。
• 遮挡、光照不规则和摄像头不稳定性等环境因素即使在多样条件训练后，也会显著降低模型性能。
• 迁移学习、领域自适应和少样本学习等技术在提升模型在罕见或未见场景下的性能方面显示出潜力。
• 利用V2X和视觉变换器的协同感知通过融合多视角数据，增强了鲁棒性，减少了遮挡和光照问题的影响。
• 未来部署将受益于边缘计算、在线学习和多源数据融合，以实现实时适应和改进的异常检测。

Figure 2: Illustration of representative challenges associated with data in computer vision applications for transportation.