[论文解读] A Survey on Video Action Recognition in Sports: Datasets, Methods and Applications

Fei Wu, Qingzhong Wang+6 more|arXiv (Cornell University)|Jun 2, 2022

Human Pose and Action Recognition被引用 10

一句话总结

本综述全面回顾了体育视频动作识别的研究，涵盖12项运动的基准数据集、深度学习方法及应用。提出了一款基于PaddlePaddle的工具箱，支持足球、篮球、乒乓球和花样滑冰的视频动作识别，解决了长尾分布和多视角识别等挑战。

ABSTRACT

To understand human behaviors, action recognition based on videos is a common approach. Compared with image-based action recognition, videos provide much more information. Reducing the ambiguity of actions and in the last decade, many works focused on datasets, novel models and learning approaches have improved video action recognition to a higher level. However, there are challenges and unsolved problems, in particular in sports analytics where data collection and labeling are more sophisticated, requiring sport professionals to annotate data. In addition, the actions could be extremely fast and it becomes difficult to recognize them. Moreover, in team sports like football and basketball, one action could involve multiple players, and to correctly recognize them, we need to analyse all players, which is relatively complicated. In this paper, we present a survey on video action recognition for sports analytics. We introduce more than ten types of sports, including team sports, such as football, basketball, volleyball, hockey and individual sports, such as figure skating, gymnastics, table tennis, tennis, diving and badminton. Then we compare numerous existing frameworks for sports analysis to present status quo of video action recognition in both team sports and individual sports. Finally, we discuss the challenges and unsolved problems in this area and to facilitate sports analytics, we develop a toolbox using PaddlePaddle, which supports football, basketball, table tennis and figure skating action recognition.

研究动机与目标

• 系统性回顾2011年至2023年期间体育视频动作识别领域的现有数据集、模型与框架。
• 识别体育视频分析中的关键技术挑战，包括长尾类别分布和多玩家交互问题。
• 通过迁移学习、少样本学习和零样本学习策略，降低体育特定动作识别的数据标注成本。
• 基于PaddlePaddle开发一个公开可用的工具箱，支持体育视频分析研究。

提出的方法

• 系统调研2011至2023年间超过200篇相关研究，按运动类型（团队运动 vs. 个人运动）和方法（2D/3D CNN、基于骨骼的方法、统计学习）进行分类。
• 在基准数据集（包括Kinetics-400、FSD-10、P2A和SVW）上分析深度学习模型的性能表现。
• 通过类别分布可视化与统计分析，评估体育数据集中长尾分布问题的影响。
• 提出多相机与多视角动作识别策略，提升不同摄像机角度下的模型鲁棒性。
• 整合迁移学习与少样本学习技术，降低体育视频识别中对大规模标注数据的依赖。
• 发布基于PaddlePaddle的工具箱，支持足球、篮球、乒乓球和花样滑冰的动作识别，提供预训练模型与推理流程。

实验结果

研究问题

• RQ1 在包含多名相互作用球员的团队运动中，体育视频动作识别面临哪些关键挑战？
• RQ2 体育数据集中长尾类别分布如何影响模型性能？现有缓解策略有哪些？
• RQ3 迁移学习、少样本学习或零样本学习在多大程度上可降低体育视频分析的标注成本？
• RQ4 在个人运动与团队运动中，不同深度学习架构（2D、3D、基于骨骼）的性能表现如何比较？
• RQ5 在真实体育视频应用中，多相机与多视角动作识别当前存在哪些局限性？

主要发现

• 体育视频动作识别显著受长尾类别分布影响，尤其在P2A与SVW等数据集中，少数动作占据主导地位。
• 在花样滑冰与体操等细粒度动作识别任务中，基于骨骼的方法与3D CNN优于2D CNN，因其具备更优的时间建模能力。
• 多视角动作识别仍具挑战性，主要因摄像机视角不一致且缺乏统一基准，需依赖自适应模型切换机制。
• 在多样化体育视频上进行自监督预训练的迁移学习，可提升少样本泛化能力并降低标注成本。
• 发布的PaddlePaddle工具箱支持足球、篮球、乒乓球与花样滑冰的端到端训练与推理，集成当前最先进模型。
• 尽管已有进展，足球等团队运动中的动作识别仍具挑战，主要因玩家间复杂交互与遮挡问题，需对多个主体进行联合建模。