[论文解读] Detecting key Soccer match events to create highlights using Computer Vision

Narayana Darapaneni, Prashant Kumar+6 more|arXiv (Cornell University)|Apr 6, 2022

Video Analysis and Summarization被引用 4

一句话总结

本文提出一种计算机视觉方法，利用 Faster R-CNN 和 YOLOv5 模型自动检测足球比赛中的关键事件，以生成精彩集锦。在比赛画面数据上进行训练后，采用 ResNet50 作为主干网络的 Faster R-CNN 达到 95.5% 的准确率，成功将 23 分钟的比赛视频压缩为 4:50 分钟的精彩集锦，同时保留了所有关键事件。

ABSTRACT

The research and data science community has been fascinated with the development of automatic systems for the detection of key events in a video. Special attention in this field is given to sports video analytics which could help in identifying key events during a match and help in preparing a strategy for the games going forward. For this paper, we have chosen Football (soccer) as a sport where we would want to create highlights for a given match video, through a computer vision model that aims to identify important events in a Soccer match to create highlights of the match. We built the models based on Faster RCNN and YoloV5 architectures and noticed that for the amount of data we used for training Faster RCNN did better than YoloV5 in detecting the events in the match though it was much slower. Within Faster RCNN using ResNet50 as a base model gave a better class accuracy of 95.5% as compared to 92% with VGG16 as base model completely outperforming YoloV5 for our training dataset. We tested with an original video of size 23 minutes and our model could reduce it to 4:50 minutes of highlights capturing almost all important events in the match.

研究动机与目标

• 开发一种基于计算机视觉的自动化系统，用于识别足球比赛视频中的关键事件。
• 评估 Faster R-CNN 和 YOLOv5 等目标检测模型在检测足球特定事件方面的性能。
• 通过基于检测到的事件过滤非关键画面，生成简洁且信息丰富的精彩集锦。
• 比较模型在真实世界体育视频摘要任务中的效率与准确率。
• 展示利用深度学习实现几乎无需人工干预的体育精彩集锦生成的可行性。

提出的方法

• 采用 Faster R-CNN 和 YOLOv5 作为主要目标检测架构，用于识别关键足球事件。
• 使用自定义的足球比赛画面数据集进行模型训练，其中关键事件（如进球、犯规和黄红牌）已进行标注。
• 在 Faster R-CNN 中使用 ResNet50 和 VGG16 作为主干特征提取网络，以评估不同特征提取方式对检测准确率的影响。
• 应用非极大值抑制和置信度阈值处理，以优化预测边界框并减少误报。
• 使用保留的测试集上的平均平均精度和分类准确率评估模型性能。
• 将性能最佳的模型应用于完整的 23 分钟比赛视频，生成一段 4:50 分钟的浓缩精彩集锦。

实验结果

研究问题

• RQ1 Faster R-CNN 和 YOLOv5 在检测进球、犯规和黄红牌等关键足球比赛事件方面的有效性如何？
• RQ2 不同主干网络（ResNet50 与 VGG16）对足球视频分析中检测准确率的影响是什么？
• RQ3 计算机视觉模型能否将完整比赛视频压缩为简洁的精彩集锦，同时保留所有关键事件？
• RQ4 在实时或近实时精彩集锦生成的背景下，Faster R-CNN 与 YOLOv5 的推理速度如何比较？
• RQ5 模型架构在体育视频摘要中对准确率与处理时间之间平衡的影响有多大？

主要发现

• 采用 ResNet50 作为主干网络的 Faster R-CNN 在测试集上达到最高的分类准确率 95.5%。
• 尽管速度显著较慢，Faster R-CNN 在检测准确率上仍优于 YOLOv5，表明速度与精度之间存在权衡。
• 基于 VGG16 的 Faster R-CNN 达到 92% 的准确率，低于 ResNet50 变体，证明了深层残差特征的优越性。
• 最终模型成功将 23 分钟的足球比赛视频压缩为 4:50 分钟的精彩集锦，几乎完整捕捉了所有关键事件。
• 该系统在端到端深度学习框架下，对进球、黄牌、红牌和犯规等多种事件表现出良好的鲁棒性。
• 结果证实，最先进的目标检测模型可被有效适配用于体育视频摘要，实现高保真度的精彩集锦生成。