[论文解读] Monitoring COVID-19 social distancing with person detection and tracking via fine-tuned YOLO v3 and Deepsort techniques

Narinder Singh Punn, Sanjay Kumar Sonbhadra+2 more|arXiv (Cornell University)|May 4, 2020

Video Surveillance and Tracking Methods参考文献 68被引用 245

一句话总结

本文提出一个深度学习框架，使用微调后的 YOLO v3 进行人员检测，使用 Deepsort 进行跟踪，以监控监控视频中的社交距离，并将其与 Faster R-CNN 和 SSD 进行比较，引入违规指数和以 3D 为中心的距离度量用于实时分析。

ABSTRACT

The rampant coronavirus disease 2019 (COVID-19) has brought global crisis with its deadly spread to more than 180 countries, and about 3,519,901 confirmed cases along with 247,630 deaths globally as on May 4, 2020. The absence of any active therapeutic agents and the lack of immunity against COVID-19 increases the vulnerability of the population. Since there are no vaccines available, social distancing is the only feasible approach to fight against this pandemic. Motivated by this notion, this article proposes a deep learning based framework for automating the task of monitoring social distancing using surveillance video. The proposed framework utilizes the YOLO v3 object detection model to segregate humans from the background and Deepsort approach to track the identified people with the help of bounding boxes and assigned IDs. The results of the YOLO v3 model are further compared with other popular state-of-the-art models, e.g. faster region-based CNN (convolution neural network) and single shot detector (SSD) in terms of mean average precision (mAP), frames per second (FPS) and loss values defined by object classification and localization. Later, the pairwise vectorized L2 norm is computed based on the three-dimensional feature space obtained by using the centroid coordinates and dimensions of the bounding box. The violation index term is proposed to quantize the non adoption of social distancing protocol. From the experimental analysis, it is observed that the YOLO v3 with Deepsort tracking scheme displayed best results with balanced mAP and FPS score to monitor the social distancing in real-time.

研究动机与目标

• 在 COVID-19 期间，促使并实现利用监控视频进行社交距离自动化监控。
• 评估流行的目标检测和跟踪模型（YOLO v3、Faster RCNN、SSD）在实时社交距离测量中的表现。
• 提出基于三维特征空间的方法及违规指数，用以量化对距距指南的违规情况。
• 可视化聚类并在视频流中提供拥挤情况与违规规则的实时指示。

提出的方法

• 对 YOLO v3 进行人员检测微调，并应用 Deepsort 进行带分配 ID 的跟踪。
• 将 YOLO v3+Deepsort 与 Faster RCNN 和 SSD 在平均精度均值 (mAP)、帧率 (FPS) 和损失方面进行比较。
• 计算一个三维特征空间（边界框中心坐标和深度），并导出成对的三维 L2 范数以评估社交距离违规。
• 提出一个违规指数来量化对社交距离协议的非遵守，并对边界框进行颜色编码以可视化群体。
• 在 Deepsort 内使用卡尔曼滤波和匈牙利算法，以实现对遮挡和视角变化下的鲁棒多目标跟踪。

实验结果

研究问题

• RQ1 就 mAP 和 FPS 而言，YOLO v3 搭配 Deepsort 在实时社交距离监控中的表现如何，与 Faster RCNN 和 SSD 相比？
• RQ2 基于 3D 特征空间的距离度量和违规指数是否能有效量化监控视频中的社交距离违规？
• RQ3 所提出的可视化与跟踪方法在处理遮挡和人群场景以指示规则遵守方面表现如何？
• RQ4 实时视频流中检测和跟踪人员的速度与精度之间有哪些权衡？

主要发现

• YOLO v3 与 Deepsort 在实时社交距离监控中实现了 mAP 和 FPS 的最佳平衡。
• 将 YOLO v3 与 Faster R-CNN 和 SSD 在 mAP、FPS 和损失方面进行比较，结果显示 YOLO v3+Deepsort 表现平衡。
• 基于边界框中心点和深度的三维特征空间用于计算成对的 L2 距离以识别基于接近度的群体。
• 提出了一个违规指数来量化对距距协议的非遵守，颜色编码的边界框可视化相关群体。
• 该框架实现了实时可视化和流式图，指示社交群体数量和总体违规指数，形成可扩展的监控方法。