[论文解读] Learning to Localize Actions from Moments

Fuchen Long, Ting Yao+4 more|arXiv (Cornell University)|Aug 31, 2020

Human Pose and Action Recognition参考文献 51被引用 4

一句话总结

该论文提出Action Herald Networks (AherNet)，一种单阶段动作定位框架，仅使用大规模类别集合（如Kinetics-600）中的修剪动作片段和小规模类别集合（如ActivityNet v1.3）中的时序标注，即可实现大规模动作定位。通过利用共享权重迁移函数和对抗性上下文生成，AherNet在0.5 IoU阈值下于Kinetics-600上实现了24.43%的mAP，性能超越了完全监督方法，达到最先进水平。

ABSTRACT

With the knowledge of action moments (i.e., trimmed video clips that each contains an action instance), humans could routinely localize an action temporally in an untrimmed video. Nevertheless, most practical methods still require all training videos to be labeled with temporal annotations (action category and temporal boundary) and develop the models in a fully-supervised manner, despite expensive labeling efforts and inapplicable to new categories. In this paper, we introduce a new design of transfer learning type to learn action localization for a large set of action categories, but only on action moments from the categories of interest and temporal annotations of untrimmed videos from a small set of action classes. Specifically, we present Action Herald Networks (AherNet) that integrate such design into an one-stage action localization framework. Technically, a weight transfer function is uniquely devised to build the transformation between classification of action moments or foreground video segments and action localization in synthetic contextual moments or untrimmed videos. The context of each moment is learnt through the adversarial mechanism to differentiate the generated features from those of background in untrimmed videos. Extensive experiments are conducted on the learning both across the splits of ActivityNet v1.3 and from THUMOS14 to ActivityNet v1.3. Our AherNet demonstrates the superiority even comparing to most fully-supervised action localization methods. More remarkably, we train AherNet to localize actions from 600 categories on the leverage of action moments in Kinetics-600 and temporal annotations from 200 classes in ActivityNet v1.3. Source code and data are available at \url{https://github.com/FuchenUSTC/AherNet}.

研究动机与目标

• 在无需为所有类别提供完整时序标注的情况下，实现对数千个类别的动作定位。
• 通过迁移学习范式，弥合在修剪片段上进行动作识别与在未修剪视频上进行动作定位之间的差距。
• 解决在训练过程中为动作片段模拟真实背景上下文的挑战。
• 开发一种可扩展的部分监督框架，在保持高定位精度的同时降低标注成本。
• 证明使用少量标注类别提供的最小监督信号，训练单一模型实现大规模动作定位的可行性。

提出的方法

• AherNet采用一种单阶段动作定位框架，整合分类任务与定位任务之间的权重迁移。
• 共享权重迁移函数将前景片段分类的网络参数映射到未修剪视频中的时序动作分类。
• 使用对抗学习生成动作片段的真实背景特征，使其与真实未修剪视频背景区分开来。
• 通过提议损失、分类损失和对抗损失联合端到端训练模型，以优化定位性能和上下文真实性。
• 将动作片段视为合成上下文，实现在无需完整时序标注的情况下进行定位建模。
• 该框架在ActivityNet v1.3的不同划分上以及从THUMOS14到ActivityNet v1.3上均得到应用，并扩展至600类Kinetics-600。

实验结果

研究问题

• RQ1 是否可以仅使用大规模类别集合中的修剪动作片段和小规模类别集合中的时序标注，有效训练动作定位？
• RQ2 权重迁移函数如何有效连接动作片段上的分类任务与未修剪视频上的定位任务？
• RQ3 对抗学习能否生成可模仿真实未修剪视频背景的、逼真的背景特征用于动作片段训练？
• RQ4 在缺乏完整监督的情况下，部分监督模型在大规模动作类别上的泛化能力如何？
• RQ5 所提出方法在零样本或少样本定位设置下是否优于完全监督和弱监督基线方法？

主要发现

• 在0.5 IoU阈值下，AherNet在Kinetics-600上达到24.43%的mAP，显著优于14.18%的基线模型。
• 在IoU阈值为0.5和0.75时，AherNet分别比最新弱监督方法高出3.9%和5.8%。
• AherNet超越了依赖所有类别完整时序标注的多个完全监督模型。
• 对抗性上下文生成模块生成的背景特征在ANet-AM和ANet-FG数据集上与真实背景特征难以区分。
• 当使用超过50%的时序标注时，AherNet ∗（完全监督变体）仅在性能上略高于AherNet，证实了部分监督设计的高效性。
• 在Kinetics-600上的定性结果表明，模型能够准确预测时序边界，并有效建模动作动态。