[论文解读] FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality Assessment

Jinglin Xu, Yongming Rao+4 more|arXiv (Cornell University)|Apr 7, 2022

Human Pose and Action Recognition被引用 5

一句话总结

FineDiving 提出了一种新颖的细粒度数据集，用于在跳水视频中进行流程感知的动作质量评估，其标注包含分层的语义和时间结构。该方法提出了一种时间分割注意力模块（Temporal Segmentation Attention），通过在查询和范例动作步骤之间实现跨注意力机制，学习细粒度且可解释的质量比较，从而在视频级回归基线上实现了最先进的性能，同时提升了透明度与准确性。

ABSTRACT

Most existing action quality assessment methods rely on the deep features of an entire video to predict the score, which is less reliable due to the non-transparent inference process and poor interpretability. We argue that understanding both high-level semantics and internal temporal structures of actions in competitive sports videos is the key to making predictions accurate and interpretable. Towards this goal, we construct a new fine-grained dataset, called FineDiving, developed on diverse diving events with detailed annotations on action procedures. We also propose a procedure-aware approach for action quality assessment, learned by a new Temporal Segmentation Attention module. Specifically, we propose to parse pairwise query and exemplar action instances into consecutive steps with diverse semantic and temporal correspondences. The procedure-aware cross-attention is proposed to learn embeddings between query and exemplar steps to discover their semantic, spatial, and temporal correspondences, and further serve for fine-grained contrastive regression to derive a reliable scoring mechanism. Extensive experiments demonstrate that our approach achieves substantial improvements over state-of-the-art methods with better interpretability. The dataset and code are available at \url{https://github.com/xujinglin/FineDiving}.

研究动机与目标

• 为解决现有动作质量评估（AQA）数据集中缺乏细粒度、流程级标注的问题，从而限制了可解释性与可靠性。
• 通过建模跳水动作在多个阶段（起跳、飞行、入水）的语义与时间结构，实现准确且透明的动作质量评估。
• 开发一种方法，通过比较查询与范例实例之间的动作步骤，量化后空翻、扭转及执行中的细微质量差异。
• 通过用逐级对比质量比较替代端到端的视频级回归，提升评分的可解释性。
• 建立一个基准数据集，包含官方得分、难度系数及详细标注，以支持未来AQA研究。

提出的方法

• 所提出的时序分割注意力（TSA）模块基于预定义的子动作类型词典，将查询和范例动作实例解析为连续的、语义标记的步骤。
• TSA 使用基于 Transformer 的交叉注意力机制，学习查询步骤与范例步骤之间的语义、空间与时间对应关系。
• 该方法在生成的流程感知嵌入上执行细粒度对比回归，以预测步骤级别的质量差异。
• 该框架利用官方 FINA 得分与难度系数，监督质量感知表征的学习。
• 数据集通过专用标注工具进行逐帧标注，以确保在多样化跳水项目中的一致性与准确性。
• 模型端到端训练，通过聚合来自对比比较的步骤级质量预测结果，来预测动作得分。

实验结果

研究问题

• RQ1 一种建模动作步骤结构的流程感知方法，能否提升竞技跳水动作质量评估的准确率与可解释性？
• RQ2 查询与范例动作步骤之间的交叉注意力，在捕捉后空翻与扭转中的细微质量差异方面效果如何？
• RQ3 细粒度的、步骤级的比较在AQA任务中，相较于视频级特征回归，优势有多大？
• RQ4 一个包含分层语义与时间标注的新数据集，能否使AQA模型更加可靠且透明？
• RQ5 在所提出的框架中，难度系数与官方得分与学习到的质量嵌入之间有何相关性？

主要发现

• 所提出的流程感知方法在性能上显著优于当前最先进的AQA方法，展现出更高的准确率与更强的可解释性。
• 模型的预测更具透明度，因其可追溯至特定动作步骤及其质量差异。
• FineDiving 通过提供一致的逐帧子动作类型标注，实现了查询与范例动作之间的可靠比较。
• 时间分割注意力模块成功学习到了动作步骤之间的有意义语义、空间与时间对应关系。
• 该数据集包含超过 1,000 段跳水视频，涵盖 120 多种动作类型与 150 多种子动作类型，覆盖多样化的动作编排与难度等级。
• 该方法在区分扭转与后空翻执行中的细微差异方面，显著优于视频级回归基线。