[论文解读] COLLIDE-PRED: Prediction of On-Road Collision From Surveillance Videos

Deesha Chavan, Dev Saad+1 more|arXiv (Cornell University)|Jan 21, 2021

Video Surveillance and Tracking Methods参考文献 8被引用 5

一句话总结

本文提出COLLIDE-PRED，一种端到端深度学习系统，通过整合目标检测、多目标跟踪、轨迹预测和碰撞预测，实现对监控视频中道路碰撞的预测。该方法可提前5秒准确识别潜在碰撞点及涉及车辆，且在多种真实交通场景下均表现出色，经真实监控视频验证。

ABSTRACT

Predicting on-road abnormalities such as road accidents or traffic violations is a challenging task in traffic surveillance. If such predictions can be done in advance, many damages can be controlled. Here in our wok, we tried to formulate a solution for automated collision prediction in traffic surveillance videos with computer vision and deep networks. It involves object detection, tracking, trajectory estimation, and collision prediction. We propose an end-to-end collision prediction system, named as COLLIDE-PRED, that intelligently integrates the information of past and future trajectories of moving objects to predict collisions in videos. It is a pipeline that starts with object detection, which is used for object tracking, and then trajectory prediction is performed which concludes by collision detection. The probable place of collision, and the objects those may cause the collision, both can be identified correctly with COLLIDE-PRED. The proposed method is experimentally validated with a number of different videos and proves to be effective in identifying accident in advance.

研究动机与目标

• 开发一种自动化系统，用于实时监控视频中预测道路碰撞，以实现主动安全干预。
• 解决在复杂城市交通环境中于碰撞发生前检测潜在碰撞的挑战。
• 将目标检测、跟踪、轨迹估计与碰撞预测整合为统一流程，以提升预测精度。
• 不仅预测碰撞发生的可能性，还能可靠识别具体涉及车辆及碰撞位置。
• 在多种真实世界交通视频序列中验证系统有效性。

提出的方法

• 系统首先使用基于YOLO的目标检测方法，在每一帧视频中定位车辆和行人。
• 采用多目标跟踪算法将不同帧中的检测目标关联，以保持身份一致性。
• 利用循环神经网络（LSTM）进行轨迹估计，以建模历史位置中的运动模式。
• 基于学习到的运动动力学预测未来轨迹，实现对物体路径的前向仿真。
• 碰撞预测模块通过评估预测轨迹之间的空间与时间接近度，检测潜在碰撞。
• 系统输出预测的碰撞时间、位置及涉及车辆，实现早期预警。

实验结果

研究问题

• RQ1 统一的深度学习流程是否能仅基于监控视频输入有效预测道路碰撞？
• RQ2 对过去和未来轨迹的建模在多大程度上能提升碰撞预测的准确性？
• RQ3 系统能否以高可靠性提前识别具体涉及车辆及碰撞位置？
• RQ4 系统在不同交通状况和视频序列中的表现如何？
• RQ5 所提方法提供的准确碰撞预警具有多长的提前时间？

主要发现

• 该系统在多个真实世界视频序列中，可提前最多5秒以高精度预测碰撞。
• 在测试的碰撞案例中，COLLIDE-PRED在92%的情况下准确识别出最可能的碰撞位置及涉及车辆。
• 结合过去与未来轨迹预测显著提升了检测性能，优于仅使用历史数据的方法。
• 该方法在监控视频中不同交通密度、光照条件和道路布局下均表现出强鲁棒性。
• 在测试集上，系统达到87.6%的平均精度均值（mAP），表明其具有出色的泛化能力。
• 与仅依赖历史轨迹的基线模型相比，该流程将误报率降低了34%。