[论文解读] Benchmarking YOLOv5 and YOLOv7 models with DeepSORT for droplet tracking applications

Mihir Durve, Sibilla Orsini+7 more|arXiv (Cornell University)|Jan 19, 2023

Innovative Microfluidic and Catalytic Techniques Innovation被引用 6

一句话总结

本研究对 YOLOv5 和 YOLOv7 目标检测器与 DeepSORT 结合用于微流体视频中实时液滴追踪进行了基准测试。尽管 YOLOv7 的推理速度快约 10%，但由于 DeepSORT 的高计算开销，尤其是在 GPU 和 CPU 配置下使用较重模型时，仅当使用轻量级 YOLO 模型时才能实现 ≥30 fps 的实时追踪。

ABSTRACT

Tracking droplets in microfluidics is a challenging task. The difficulty arises in choosing a tool to analyze general microfluidic videos to infer physical quantities. The state-of-the-art object detector algorithm You Only Look Once (YOLO) and the object tracking algorithm Simple Online and Realtime Tracking with a Deep Association Metric (DeepSORT) are customizable for droplet identification and tracking. The customization includes training YOLO and DeepSORT networks to identify and track the objects of interest. We trained several YOLOv5 and YOLOv7 models and the DeepSORT network for droplet identification and tracking from microfluidic experimental videos. We compare the performance of the droplet tracking applications with YOLOv5 and YOLOv7 in terms of training time and time to analyze a given video across various hardware configurations. Despite the latest YOLOv7 being 10% faster, the real-time tracking is only achieved by lighter YOLO models on RTX 3070 Ti GPU machine due to additional significant droplet tracking costs arising from the DeepSORT algorithm. This work is a benchmark study for the YOLOv5 and YOLOv7 networks with DeepSORT in terms of the training time and inference time for a custom dataset of microfluidic droplets.

研究动机与目标

• 评估 YOLOv5 和 YOLOv7 模型与 DeepSORT 联合使用在微流体视频液滴追踪中的性能。
• 比较不同 YOLO 模型变体与硬件配置下的训练时间、推理速度及实时追踪能力。
• 识别在保证准确率与计算成本平衡的前提下，实现实时液滴追踪（≥30 fps）的最优模型与硬件配置。
• 为研究人员选择基于 YOLO 的液滴追踪流水线提供全面基准参考。

提出的方法

• 在相同超参数和硬件（NVIDIA V100 GPU）下，使用自建微流体液滴数据集对 YOLOv5 和 YOLOv7 模型进行训练。
• 采用 DeepSORT 进行多目标追踪，利用深度关联度量在帧间关联检测结果。
• 通过在 IoU 阈值从 0.5 到 0.95 范围内的平均精度均值（mAP）评估性能。
• 测量所有模型变体在 CPU 和 GPU（RTX 3070 Ti）上的每帧推理时间，包括 YOLO 和 DeepSORT 组件的独立时间。
• 在多个 YOLO 变体上开展基准测试：YOLOv5s、m、l、x、s6、m6、l6、x6，以及 YOLOv7-tiny、x、base、w6、e6、d6、e6e。
• 分析检测精度（mAP）与推理速度之间的权衡，尤其关注模型大小对 DeepSORT 追踪延迟的影响。

Figure 1 : Schematic representation of the microfluidic device used for the droplet generation.

实验结果

研究问题

• RQ1 在自建微流体数据集上，YOLOv5 和 YOLOv7 模型在训练时间与 mAP 准确率方面表现如何比较？
• RQ2 YOLOv5 和 YOLOv7 模型与 DeepSORT 联合使用时，在不同硬件配置（CPU 和 GPU）下的推理速度如何？
• RQ3 哪些模型配置在测试硬件上实现了实时液滴追踪（≥30 fps）？
• RQ4 DeepSORT 的计算成本与 YOLO 推理时间相比如何，特别是在较重模型上？
• RQ5 在选择 YOLO 模型变体时，检测精度与实时性能之间的权衡关系如何？

主要发现

• 在相同硬件（RTX 3070 Ti GPU）下，YOLOv7 模型的推理速度比 YOLOv5 对应模型快约 10%。
• 尽管 YOLO 推理更快，但仅当使用轻量级 YOLO 模型（如 YOLOv5s、YOLOv7-tiny）时才能实现实时追踪（≥30 fps），原因在于 DeepSORT 的高追踪开销。
• 在 GPU 上，YOLOv5s 和 YOLOv7-tiny 分别实现了 34.27 fps 和 34.48 fps 的帧率，满足实时要求。
• 较重的模型如 YOLOv5x6 和 YOLOv7-d6 未能实现实时性能，其推理速率低于 12 fps。
• 对于 YOLOv5 和 YOLOv7，mAP 值在 20 个周期后趋于饱和，且在所有 IoU 阈值下的平均 mAP 无显著差异。
• DeepSORT 每帧贡献了约 0.015–0.03 秒的追踪时间，对 CPU 和 GPU 上的重模型而言已成为性能瓶颈。

Figure 2 : Example from custom training dataset to train YOLOv5 and YOLOv7 object detector models. Each object is manually placed in a rectangle (called the bounding box) and the dimensions of the rectangle are noted in an associated label file.