[论文解读] FineGym: A Hierarchical Video Dataset for Fine-grained Action Understanding

Dian Shao, Yue Zhao+2 more|arXiv (Cornell University)|Apr 14, 2020

Human Pose and Action Recognition参考文献 51被引用 31

一句话总结

FineGym 引入一个大规模的体操视频数据集，具有三级语义层次（事件、组、元素）和两级时间注释（动作、子动作），使对动作的细粒度理解成为可能，并对相关方法进行实证研究。

ABSTRACT

On public benchmarks, current action recognition techniques have achieved great success. However, when used in real-world applications, e.g. sport analysis, which requires the capability of parsing an activity into phases and differentiating between subtly different actions, their performances remain far from being satisfactory. To take action recognition to a new level, we develop FineGym, a new dataset built on top of gymnastic videos. Compared to existing action recognition datasets, FineGym is distinguished in richness, quality, and diversity. In particular, it provides temporal annotations at both action and sub-action levels with a three-level semantic hierarchy. For example, a "balance beam" event will be annotated as a sequence of elementary sub-actions derived from five sets: "leap-jump-hop", "beam-turns", "flight-salto", "flight-handspring", and "dismount", where the sub-action in each set will be further annotated with finely defined class labels. This new level of granularity presents significant challenges for action recognition, e.g. how to parse the temporal structures from a coherent action, and how to distinguish between subtly different action classes. We systematically investigate representative methods on this dataset and obtain a number of interesting findings. We hope this dataset could advance research towards action understanding.

研究动机与目标

• 创建一个高质量、细粒度的体操视频数据集，具有多层语义标签（事件、组、元素）。
• 在动作和子动作两个层面提供时间注释，以实现时间上的细粒度理解。
• 通过专业领域构建的类别和严格的注释质量控制来确保数据质量。
• 基准测试具有代表性的动作识别方法，以揭示挑战并指导未来在细粒度动作理解方面的研究。

提出的方法

• 从官方体操比赛汇集高分辨率视频，以确保数据质量和相关性。
• 用三层语义层次（事件、组、元素）标注动作，并在时间上识别动作和子动作。
• 使用基于决策树的推理在给定组内推导元素标签。
• 实施多阶段注释质量控制，包括 annotator 培训、预试验和交叉验证。
• 使用 RGB、Flow、2Stream 和基于骨架的方法，在从粗粒度到细粒度（事件/组/元素）的多粒度范围内评估具有代表性的动作识别模型。
• 使用 SSN 框架演示时态动作定位，以研究事件与子动作定位。

实验结果

研究问题

• RQ1 当前的动作识别模型在 FineGym 的细粒度（元素级）动作上的表现如何？
• RQ2 时序建模和帧采样对细粒度动作理解的影响是什么？
• RQ3 在粗粒度数据集上的预训练是否有助于细粒度体操动作？
• RQ4 在细粒度、快速动作中，外观特征与运动特征会带来哪些挑战？
• RQ5 在 FineGym 中，相对于粗动作，子动作的时态动作定位有多可行？

主要发现

• 稀疏帧采样对于元素级识别不足以实现稳健性能；需要大量帧来达到鲁棒性。
• 运动信息扮演着显著重要的角色，时序建模对细粒度动作至关重要。
• 时序动态建模（TRN/TSM）相对于静态帧基线带来显著提升，训练/测试帧数不匹配会削弱性能。
• 在较大粗粒度数据集上的预训练并不总是对 FineGym 有利，因为存在时间模式差异。
• 基于骨架的方法（ST-GCN）在体操数据上遇到挑战性姿态估计，导致表现不好。
• FineGym 提供了一个具有高质量、以动作为中心的数据和丰富层次结构的具有挑战性的基准，指向未来在细粒度动作理解方面的研究方向。