[论文解读] Intra- and Inter-Action Understanding via Temporal Action Parsing

Dian Shao, Yue Zhao+2 more|arXiv (Cornell University)|May 20, 2020

Human Pose and Action Recognition参考文献 67被引用 8

一句话总结

本文提出了TAPOS，一个包含奥运体育视频中细粒度时间标注的子动作的新数据集，并提出了TransParser，一种基于Transformer的自监督框架，用于时间动作解析。该方法在无需子动作标签的情况下，揭示了动作内部结构（子动作组合）和动作间关系（跨动作的共用子动作），并通过优化采样使动作识别性能提升1%。

ABSTRACT

Current methods for action recognition primarily rely on deep convolutional networks to derive feature embeddings of visual and motion features. While these methods have demonstrated remarkable performance on standard benchmarks, we are still in need of a better understanding as to how the videos, in particular their internal structures, relate to high-level semantics, which may lead to benefits in multiple aspects, e.g. interpretable predictions and even new methods that can take the recognition performances to a next level. Towards this goal, we construct TAPOS, a new dataset developed on sport videos with manual annotations of sub-actions, and conduct a study on temporal action parsing on top. Our study shows that a sport activity usually consists of multiple sub-actions and that the awareness of such temporal structures is beneficial to action recognition. We also investigate a number of temporal parsing methods, and thereon devise an improved method that is capable of mining sub-actions from training data without knowing the labels of them. On the constructed TAPOS, the proposed method is shown to reveal intra-action information, i.e. how action instances are made of sub-actions, and inter-action information, i.e. one specific sub-action may commonly appear in various actions.

研究动机与目标

• 为解决现有数据集中缺乏细粒度动作结构标注，特别是子动作标注的问题。
• 实现在无预定义子动作类别的情况下，无监督发现时间子动作边界与语义模式。
• 探究动作内部结构（内动作）与跨动作共享子动作（外动作）关系如何提升识别性能。
• 开发一种方法，仅使用视觉和运动特征，将动作实例解析为语义一致的子动作。
• 证明时间解析可通过更优的帧采样策略提升下游动作识别性能。

提出的方法

• 构建TAPOS数据集，包含16,000个奥运体育动作实例，以及高质量的子动作时间分割，且无需子动作类别标签。
• 提出TransParser，一种双堆叠Transformer架构，其中帧作为查询，可学习的记忆库提供注意力机制中的键和值。
• 采用模式挖掘模块，通过自监督对比学习方法，学习识别跨动作实例中的判别性子动作模式。
• 使用局部语义损失，强制子动作片段内部的一致性，并抑制片段间的相似性，从而提升边界定位性能。
• 引入SPS（段落模式选择）单元，以增强子动作之间的判别性差异，最优性能出现在2–3个单元时。
• 利用解析结果指导TSN中的帧采样，从而提升动作识别准确率。

实验结果

研究问题

• RQ1 在无类别标签的情况下，无监督时间动作解析能否揭示个体动作中具有意义的子动作结构？
• RQ2 通过自监督学习，不同动作类别间共享的子动作（外动作关系）如何涌现？
• RQ3 时间解析在多大程度上能提升下游动作识别性能？
• RQ4 如局部损失和SPS单元等架构组件对解析准确率有何影响？
• RQ5 该模型能否发现与人类对运动动态感知一致的语义连贯子动作模式？

主要发现

• TransParser在TAPOS数据集上达到最先进性能，显著优于基线方法的时间动作解析效果。
• 模型发现如“接近跑”和“落地”等子动作在跳远和跨栏等不同动作中均具有一致可识别性。
• “投掷”类子动作在铁饼投掷与标枪投掷等不同动作中普遍存在，表明存在外动作关系。
• 基于TransParser的采样策略使TSN的动作识别准确率相比均匀采样提升约1%，RGB模态Top-1准确率达到84.80%，RGB+Flow模态达到91.62%。
• 消融实验表明，局部语义损失对召回率与精确率的平衡至关重要，SPS单元数量超过2个后无进一步增益。
• 定性结果表明，TransParser识别出的运动模式与人工标注的子动作一致，即使标签不同（例如，“加胡椒”与“加油”共享相似运动模式）。