[论文解读] Localizing Actions from Video Labels and Pseudo-Annotations

Pascal Mettes, Cees G. M. Snoek+1 more|arXiv (Cornell University)|Jul 28, 2017

Human Pose and Action Recognition参考文献 26被引用 10

一句话总结

本文提出了一种弱监督动作定位方法，仅使用类别标签和自动生成的伪标注即可在视频中定位动作，无需昂贵的边界框或点标注。通过利用五种视觉线索——人体检测、运动、动作提议、物体提议和中心偏差——并采用基于相关性的度量方法选择并组合这些线索，该方法在UCF Sports、UCF-101和Hollywood2Tubes数据集上的性能与全框监督相当。

ABSTRACT

The goal of this paper is to determine the spatio-temporal location of actions in video. Where training from hard to obtain box annotations is the norm, we propose an intuitive and effective algorithm that localizes actions from their class label only. We are inspired by recent work showing that unsupervised action proposals selected with human point-supervision perform as well as using expensive box annotations. Rather than asking users to provide point supervision, we propose fully automatic visual cues that replace manual point annotations. We call the cues pseudo-annotations, introduce five of them, and propose a correlation metric for automatically selecting and combining them. Thorough evaluation on challenging action localization datasets shows that we reach results comparable to results with full box supervision. We also show that pseudo-annotations can be leveraged during testing to improve weakly- and strongly-supervised localizers.

研究动机与目标

• 消除视频动作定位中对昂贵时空边界框或点标注的需求。
• 开发一种完全自动化的方法，仅使用视频类别标签和视觉线索作为伪标注。
• 通过自动选择并组合有信息量的伪标注来提升弱监督定位性能。
• 证明伪标注不仅在训练阶段，而且在推理阶段也能提升性能。
• 使任何动作分类数据集上的动作定位成为可能，而无需手动边界框标注。

提出的方法

• 引入五类基于视觉线索的伪标注：人体检测、独立运动、动作提议、物体提议和中心偏差。
• 提出一种基于相关性的度量方法，自动选择并组合每种动作最相关的伪标注。
• 使用多实例学习（MIL）在无监督动作提议上训练动作定位器，由伪标注和视频标签指导。
• 在推理阶段应用相同的伪标注以优化定位结果，从而在各类模型上提升性能。
• 采用无监督动作提议（例如基于超体素和运动线索）作为候选管状区域用于定位。
• 利用伪标注与真实动作位置之间的相关性，在训练和测试阶段优先选择高质量线索。

实验结果

研究问题

• RQ1 仅使用视频类别标签和自动生成的伪标注，是否可以有效实现动作定位，而无需任何手动边界框或点监督？
• RQ2 在弱监督设置下，哪些视觉线索（如运动、物体提议、人体检测）对引导动作定位最具信息量？
• RQ3 如何自动选择并组合多个伪标注以提升定位性能？
• RQ4 伪标注是否不仅能提升训练阶段的性能，也能在推理阶段提升性能，即使模型是使用完整边界框监督训练的？
• RQ5 伪标注在多大程度上可以缩小弱监督与全监督动作定位之间的性能差距？

主要发现

• 在UCF Sports和UCF-101数据集上，该方法分别实现了53.3%的AUC和35.1%的mAP，性能与全框监督在相同设置下相当。
• 当在测试阶段使用伪标注时，UCF Sports和UCF-101上的性能提升至55.6%的AUC和37.4%的mAP，甚至超过了这些数据集上的全框监督结果。
• 在Hollywood2Tubes数据集上，该方法仅使用视频标签和伪标注即实现了13.6%的mAP，显著优于先前的弱监督方法。
• 基于相关性的伪标注选择方法在所有数据集上均带来一致的性能提升，证明了该度量方法的有效性。
• 即使应用于使用全框监督训练的模型，伪标注也能提升定位精度，表明其具备良好的泛化能力和鲁棒性。
• 该方法使在Sports 1M、ActivityNet和EventNet等大规模数据集上实现动作定位成为可能，而无需人工标注，显著拓展了其在弱监督设置下的适用范围。