[论文解读] Learning Transferable Self-attentive Representations for Action Recognition in Untrimmed Videos with Weak Supervision

Xiaoyu Zhang, Haichao Shi+4 more|arXiv (Cornell University)|Feb 20, 2019

Human Pose and Action Recognition被引用 5

一句话总结

本文提出 TSRNet，一种仅使用视频级标注的弱监督框架，用于在未剪辑视频中进行动作识别与定位。通过利用自注意力机制突出相关帧，并从公开的剪辑视频中迁移知识，TSRNet 在 THUMOS14 和 ActivityNet1.3 上取得了最先进性能，优于多种弱监督及部分全监督基线方法。

ABSTRACT

Action recognition in videos has attracted a lot of attention in the past decade. In order to learn robust models, previous methods usually assume videos are trimmed as short sequences and require ground-truth annotations of each video frame/sequence, which is quite costly and time-consuming. In this paper, given only video-level annotations, we propose a novel weakly supervised framework to simultaneously locate action frames as well as recognize actions in untrimmed videos. Our proposed framework consists of two major components. First, for action frame localization, we take advantage of the self-attention mechanism to weight each frame, such that the influence of background frames can be effectively eliminated. Second, considering that there are trimmed videos publicly available and also they contain useful information to leverage, we present an additional module to transfer the knowledge from trimmed videos for improving the classification performance in untrimmed ones. Extensive experiments are conducted on two benchmark datasets (i.e., THUMOS14 and ActivityNet1.3), and experimental results clearly corroborate the efficacy of our method.

研究动机与目标

• 为解决仅使用视频级标注（相比帧级标注成本更低）的未剪辑视频中的动作识别挑战。
• 通过将公开可用的剪辑视频数据集的知识迁移到未剪辑视频识别中，提升模型鲁棒性。
• 通过学习帧级注意力权重以突出动作相关帧，实现时序动作定位。
• 开发一个统一框架，结合自注意力与跨域知识迁移，以提升性能。

提出的方法

• 该方法采用双流卷积神经网络（RGB 和光流）从未剪辑和剪辑视频中提取高层语义特征。
• 在未剪辑视频的特征上应用自注意力模块，分配帧级权重，以强调与动作相关的帧。
• 知识迁移模块通过最小化剪辑视频与未剪辑视频特征之间的域差异，提升泛化能力。
• 模型使用正则化损失稳定注意力学习并增强特征可区分性。
• 通过特征级适应实现知识迁移，利用剪辑视频与未剪辑视频数据集之间的共享类别进行显式迁移。
• 最终预测结合自注意力权重与 Softmax 分数，实现动作实例的定位。

实验结果

研究问题

• RQ1 在弱监督设置下，自注意力机制能否有效定位未剪辑视频中的动作帧？
• RQ2 从剪辑视频中迁移知识是否能提升在未剪辑视频基准上的动作识别性能？
• RQ3 自注意力与知识蒸馏的融合如何影响模型泛化能力与定位准确率？
• RQ4 统一框架能否仅使用视频级标签联合优化识别与定位任务？

主要发现

• TSRNet 在 THUMOS14 上实现了最先进 mAP，优于现有弱监督方法，甚至超越部分全监督方法。
• 在 ActivityNet1.3 上，TSRNet 实现了优越的检测性能，当在 UCF101 的重叠类别上进行预训练时，性能进一步提升。
• 通过两轮特征适应的知识迁移优于单轮迁移，表明多层次特征对齐具有显著优势。
• 自注意力机制能有效识别动作帧，定性结果表明注意力权重与真实动作边界高度吻合。
• 在两个数据集的所有 IoU 阈值下，加入正则化损失与知识迁移的模型均表现出显著性能提升。