[论文解读] TAD: A Large-Scale Benchmark for Traffic Accidents Detection from Video Surveillance

Yajun Xu, Chuwen Huang+2 more|arXiv (Cornell University)|Sep 26, 2022

Advanced Neural Network Applications被引用 9

一句话总结

本文提出TAD，一个从真实监控摄像头收集的、大规模的、开源的交通碰撞事故基准数据集，专门针对高速公路场景。该数据集支持通过图像分类、目标检测和视频分类任务对基于视频的事故检测进行全面评估，结果表明由于具备更优的时间建模能力，视频级模型优于图像级方法，其中SlowFast-ResNet50在视频级分类任务中取得0.680的F1得分。

ABSTRACT

Automatic traffic accidents detection has appealed to the machine vision community due to its implications on the development of autonomous intelligent transportation systems (ITS) and importance to traffic safety. Most previous studies on efficient analysis and prediction of traffic accidents, however, have used small-scale datasets with limited coverage, which limits their effect and applicability. Existing datasets in traffic accidents are either small-scale, not from surveillance cameras, not open-sourced, or not built for freeway scenes. Since accidents happened in freeways tend to cause serious damage and are too fast to catch the spot. An open-sourced datasets targeting on freeway traffic accidents collected from surveillance cameras is in great need and of practical importance. In order to help the vision community address these shortcomings, we endeavor to collect video data of real traffic accidents that covered abundant scenes. After integration and annotation by various dimensions, a large-scale traffic accidents dataset named TAD is proposed in this work. Various experiments on image classification, object detection, and video classification tasks, using public mainstream vision algorithms or frameworks are conducted in this work to demonstrate performance of different methods. The proposed dataset together with the experimental results are presented as a new benchmark to improve computer vision research, especially in ITS.

研究动机与目标

• 为解决缺乏大规模、开源、基于监控视频的高速公路交通事故数据集的问题。
• 为多种视觉任务下的事故检测算法提供全面的基准评估。
• 通过包含多样化的事故类型、场景和环境条件，提升模型的泛化能力。
• 支持开发稳健且适用于真实世界场景的智能交通系统（ITS）。
• 通过利用序列化视频数据，推动事故检测中时间建模的研究。

提出的方法

• 从不同高速公路环境中的CCTV监控系统中收集真实交通事故视频。
• 对视频进行多标签标注，包括事故类型、涉及物体以及时空边界。
• 构建一个大规模数据集，包含1,000多个视频，覆盖12种不同的事故类别，包括碰撞、侧翻，以及涉及行人和骑行者的事故。
• 应用主流深度学习模型——ResNet50、YOLOv5m和SlowFast-ResNet50，分别用于图像分类、目标检测和视频分类任务。
• 使用标准指标（召回率、精确率和F1得分）在图像级和视频级任务中评估模型性能。
• 通过帧级预测的时间聚合，建模运动和序列动态，以提升事故检测效果。

实验结果

研究问题

• RQ1 基于真实监控视频的大规模开源数据集能否提升交通事故检测模型的泛化能力和鲁棒性？
• RQ2 在事故检测中，视频级分类的时间建模为何优于静态图像级分类？
• RQ3 在事故检测任务中，图像分类、目标检测和视频分类模型的性能差异是什么？
• RQ4 为何某些事故类型（如“碰撞”和“受害者”）会导致检测模型产生较高的误报率？
• RQ5 在多帧序列信息中引入视频数据在多大程度上能提升事故识别的准确性和稳定性？

主要发现

• 使用SlowFast-ResNet50进行视频级分类的F1得分为0.680，优于图像级分类（F1得分：0.454），这是由于更有效地利用了时间动态特性。
• 使用YOLOv5m进行目标检测的召回率达到0.997，但精确率仅为0.487，表明逐帧检测存在不稳定性，且误报率较高。
• 图像级检测模型的召回率（0.261）显著低于分类任务，凸显其在视频帧中定位事故的不稳定性。
• 当对多个视频帧的预测结果进行聚合时，事故检测性能显著提升，因为一致的时间模式是更可靠的事故指示信号。
• “碰撞”和“受害者”类别是整体准确率较低的主要原因，因其导致较高的误报率，表明在区分细微或复杂事故场景方面存在挑战。
• TAD支持多样化的事故类型，包括多车碰撞、行人撞击和侧翻事故，其视觉和上下文特征比现有数据集更丰富。