[论文解读] FSD-10: A Dataset for Competitive Sports Content Analysis

Shenglan Liu, Xiang Liu+7 more|arXiv (Cornell University)|Feb 9, 2020

Human Pose and Action Recognition参考文献 45被引用 8

一句话总结

本论文提出FSD-10，一个大规模、细粒度的花样滑冰视频数据集，包含来自国际锦标赛（2017–2018年）的1,484段视频剪辑，涵盖10种高速、复杂的竞技动作。为应对以运动为中心的分类挑战，作者提出一种基于关键帧的时序片段网络（KTSN），通过聚焦运动关键帧而非随机采样，显著优于标准TSN，在FSD-10上实现82.12%的准确率，证明运动动态比静态姿态或背景更具判别性，适用于竞技体育分析。

ABSTRACT

Action recognition is an important and challenging problem in video analysis. Although the past decade has witnessed progress in action recognition with the development of deep learning, such process has been slow in competitive sports content analysis. To promote the research on action recognition from competitive sports video clips, we introduce a Figure Skating Dataset (FSD-10) for finegrained sports content analysis. To this end, we collect 1484 clips from the worldwide figure skating championships in 2017-2018, which consist of 10 different actions in men/ladies programs. Each clip is at a rate of 30 frames per second with resolution 1080 $ imes$ 720. These clips are then annotated by experts in type, grade of execution, skater info, .etc. To build a baseline for action recognition in figure skating, we evaluate state-of-the-art action recognition methods on FSD-10. Motivated by the idea that domain knowledge is of great concern in sports field, we propose a keyframe based temporal segment network (KTSN) for classification and achieve remarkable performance. Experimental results demonstrate that FSD-10 is an ideal dataset for benchmarking action recognition algorithms, as it requires to accurately extract action motions rather than action poses. We hope FSD-10, which is designed to have a large collection of finegrained actions, can serve as a new challenge to develop more robust and advanced action recognition models.

研究动机与目标

• 为解决缺乏高质量、面向高速、复杂体育竞技动作动作识别的细粒度竞技体育视频数据集的问题。
• 构建一个基准数据集，强调运动动态而非静态姿态或背景线索，以反映真实竞技体育的复杂性。
• 支持动作质量评估（AQA）、时序动作分割以及跨模态学习（如动作-音乐对齐）等高级研究。
• 在竞技体育中建立基于领域知识的采样策略的稳健基线，用于动作识别。

提出的方法

• FSD-10数据集源自80小时全球花样滑冰锦标赛（2017–2018年）的视频素材，包含1,484段视频剪辑，涵盖10种不同动作，每段视频帧率为30 fps，分辨率为1080×720。
• 每段视频均由专家标注动作类型、执行分（GOE）、基础分（BV）及运动员信息，以支持细粒度分析。
• 提出一种基于关键帧的时序片段网络（KTSN），通过选择运动关键帧（如跳跃的起跳和落地帧）进行采样，而非随机采样。
• KTSN利用Inception v3进行空间特征提取，并结合RGB与光流输入，以建模外观与运动动态。
• 模型采用时序片段网络（TSN）结构，设置k=9个片段，但通过关键帧感知采样策略，提升对高速、复杂动作的判别能力。
• 通过UCF101与FSD-10的跨数据集验证评估泛化能力，性能指标基于RGB、光流及融合特征进行衡量。

实验结果

研究问题

• RQ1 在区分细粒度竞技体育动作时，运动动态与静态姿态及背景相比，其判别能力如何？
• RQ2 基于关键帧的采样策略是否能显著提升花样滑冰等高速运动中的动作识别性能？
• RQ3 FSD-10在支持动作质量评估（AQA）和时序动作分割等高级任务方面的能力如何？
• RQ4 标准TSN模型与KTSN在FSD-10上的表现相比，特别是在运动敏感性方面有何差异？
• RQ5 在跨数据集评估中，FSD-10是否比现有数据集（如UCF101）具有更好的泛化能力？

主要发现

• KTSN在FSD-10上实现82.12%的top-1准确率，显著优于标准TSN（RGB特征下为76.77%，融合特征下为82.12%）。
• 在FSD-10上，光流特征的性能（82.12%）远高于RGB特征（48.94%），表明运动动态比静态外观更具判别性。
• FSD-10从3段到9段采样带来5.4%的性能提升，而UCF101仅提升2.5%，证实其对细粒度时序分割的敏感性。
• 混淆矩阵显示，Lutz跳跃在24%的情况下被误分类为Flip跳跃，凸显区分高速相似跳跃类型的难度。
• 该数据集对运动线索高度敏感：RGB与光流特征的性能差异在FSD-10上大于UCF101，进一步证实运动是动作识别的主导因素。
• KTSN模型表明，聚焦运动关键帧（尤其是起跳与落地帧）能显著提升分类性能，验证了在竞技体育分析中引入领域知识的重要性。