[论文解读] DeepSportLab: a Unified Framework for Ball Detection, Player Instance Segmentation and Pose Estimation in Team Sports Scenes

Seyed Abolfazl Ghasemzadeh, Gabriel Van Zandycke+4 more|arXiv (Cornell University)|Dec 1, 2021

Sports Analytics and Performance被引用 6

一句话总结

DeepSportLab 提出了一种统一的深度学习框架，通过单一卷积神经网络（CNN）联合执行团队运动中的球体检测、球员实例分割和人体姿态估计。通过利用部位强度场（part intensity fields）和空间嵌入（spatial embeddings），该方法在 DeepSport 篮球数据集上实现了最先进性能，在减少计算开销的同时提升了性能，得益于共享特征提取和轻量化解码机制。

ABSTRACT

This paper presents a unified framework to (i) locate the ball, (ii) predict the pose, and (iii) segment the instance mask of players in team sports scenes. Those problems are of high interest in automated sports analytics, production, and broadcast. A common practice is to individually solve each problem by exploiting universal state-of-the-art models, \\eg, Panoptic-DeepLab for player segmentation. In addition to the increased complexity resulting from the multiplication of single-task models, the use of the off-the-shelf models also impedes the performance due to the complexity and specificity of the team sports scenes, such as strong occlusion and motion blur. To circumvent those limitations, our paper proposes to train a single model that simultaneously predicts the ball and the player mask and pose by combining the part intensity fields and the spatial embeddings principles. Part intensity fields provide the ball and player location, as well as player joints location. Spatial embeddings are then exploited to associate player instance pixels to their respective player center, but also to group player joints into skeletons. We demonstrate the effectiveness of the proposed model on the DeepSport basketball dataset, achieving comparable performance to the SoA models addressing each individual task separately.

研究动机与目标

• 解决在复杂团队运动场景中使用现成模型进行球体检测、球员分割和姿态估计的局限性。
• 通过将三个相关任务统一为单一共享的深度学习框架，降低计算成本并提升性能。
• 通过在特定运动数据集上进行训练，克服室内运动中遮挡、运动模糊和低对比度等挑战。
• 证明联合训练可提升实例分割和姿态估计性能，同时保持具有竞争力的球体检测精度。
• 提供一种轻量化、可部署的解决方案，适用于实时体育转播与分析应用。

提出的方法

• 该模型使用共享的 CNN 主干网络，用于预测语义类别得分、用于实例中心关联的偏移向量，以及 19 种关键点类型的部位强度场（PIF），包括 17 个人体部位、球员质心和球体质心。
• 部位强度场为每个关键点提供置信度图、定位向量和尺度参数，实现对球体和身体部位的高分辨率检测。
• 空间嵌入用于将像素关联到其对应的实例中心，并将身体部位关键点聚合成连贯的骨骼结构，而无需使用部位亲和场（PAFs）。
• 实例分割头融合语义得分、偏移向量和球员质心预测，以生成精确的球员掩码。
• 姿态解码模块结合预测的关键点置信度图和掩码，以重建完整的球员姿态，而球体位置则直接从球体关键点置信度图中提取。
• 该模型在 COCO 和 DeepSport 数据集的组合数据上进行训练，并通过在特定运动数据上的微调，提升球体检测和姿态估计的性能。

实验结果

研究问题

• RQ1 统一的深度学习框架能否在保持竞争力性能的前提下，联合执行球体检测、球员实例分割和姿态估计？
• RQ2 与独立训练各任务模型相比，联合训练是否能提升整体性能？
• RQ3 部位强度场和空间嵌入是否能有效应对室内团队运动场景中的遮挡和运动模糊？
• RQ4 仅使用空间嵌入是否足以在无需部位亲和场（PAFs）的情况下重建球员骨骼结构，从而降低解码复杂度？
• RQ5 使用特定运动数据集对于实现球体检测和姿态估计的高精度有多关键？

主要发现

• 当在 COCO 和 DeepSport 数据集上联合训练时，DeepSportLab 在 DeepSport 数据集上的球体检测质量（bDQ）达到 52.07，显著优于仅在 COCO 上训练的结果（bDQ = 23.19）。
• 实例分割任务从联合训练中受益，掩码平均精度（AP）达到 82.1，平均召回率（AR）为 42.4；姿态估计的检测质量（pDQ）达到 90.1，姿态质量（pEQ）为 87.5。
• 与球体检测联合训练可提升其性能，联合设置下的 bDQ 为 54.72，高于完整多任务模型中的 52.07，表明多任务学习具有实际增益。
• 姿态解码模块通过使用预测掩码将关键点分配给对应实例，相比 PifPaf 的 PAF 方法，显著降低了解码复杂度。
• 仅在 COCO 上训练会导致球体检测性能极差（bDQ = 23.19），证明了使用特定运动数据集对实现高精度的必要性。
• 该模型的推理时间缩短至每张图像 436±106 ms，内存占用为 1757 MB，具备实时部署的实用性。