[论文解读] Elaborative Rehearsal for Zero-shot Action Recognition

Shizhe Chen, Dong Huang|arXiv (Cornell University)|Aug 5, 2021

Human Pose and Action Recognition参考文献 51被引用 4

一句话总结

该论文提出了一种增强型复述（ER）的零样本动作识别（ZSAR）模型，通过为动作类别生成具有区分性的增强描述（EDs）并整合视频中检测到的物体的增强概念（ECs），从而提升泛化能力。通过利用预训练的BERT进行ED编码，并采用结合时间流与物体流的联合视频特征学习框架，该模型在多个基准测试中达到最先进性能，并展现出强大的泛化能力，在Kinetics ZSAR上超越了1-shot监督基线模型。

ABSTRACT

The growing number of action classes has posed a new challenge for video understanding, making Zero-Shot Action Recognition (ZSAR) a thriving direction. The ZSAR task aims to recognize target (unseen) actions without training examples by leveraging semantic representations to bridge seen and unseen actions. However, due to the complexity and diversity of actions, it remains challenging to semantically represent action classes and transfer knowledge from seen data. In this work, we propose an ER-enhanced ZSAR model inspired by an effective human memory technique Elaborative Rehearsal (ER), which involves elaborating a new concept and relating it to known concepts. Specifically, we expand each action class as an Elaborative Description (ED) sentence, which is more discriminative than a class name and less costly than manual-defined attributes. Besides directly aligning class semantics with videos, we incorporate objects from the video as Elaborative Concepts (EC) to improve video semantics and generalization from seen actions to unseen actions. Our ER-enhanced ZSAR model achieves state-of-the-art results on three existing benchmarks. Moreover, we propose a new ZSAR evaluation protocol on the Kinetics dataset to overcome limitations of current benchmarks and demonstrate the first case where ZSAR performance is comparable to few-shot learning baselines on this more realistic setting. We will release our codes and collected EDs at https://github.com/DeLightCMU/ElaborativeRehearsal.

研究动机与目标

• 解决零样本动作识别（ZSAR）中未见动作无任何训练数据的挑战。
• 在模糊的词嵌入或人工属性之外，提升动作类别的语义表征能力。
• 通过整合来自预训练图像模型的物体级概念，增强视频的语义表征。
• 设计一种模拟人类记忆复述机制的训练目标，以提升对未见动作的泛化能力。
• 在Kinetics上建立更真实的ZSAR基准，以便与少样本学习基线进行比较。

提出的方法

• 利用预训练的BERT为每个动作类别构建增强描述（EDs），生成比简单类别名称更具区分性与上下文丰富性的文本表征。
• 使用预训练的图像分类器检测视频中的物体，并将其类别名称作为增强概念（ECs）以丰富视频语义。
• 采用双流网络联合编码时空视频特征（通过TSM）与物体特征（通过ResNet），并引入多模态通道注意力机制进行特征融合。
• 提出一种增强复述（ER）损失，促使模型将视频特征与动作EDs及ECs对齐，通过语义复述机制提升泛化能力。
• 在EDs与ECs之间共享嵌入空间，实现跨模态对齐，并提升对未见动作的迁移能力。
• 通过视频-动作对的对比损失与ER损失联合训练模型，以同步优化零样本泛化性能。

Figure 1 : Attributes and word embeddings are insufficient to semantically represent action classes. Our Elaborative Rehearsal approach defines actions by Elaborative Descriptions (EDs) and associates videos with Elaborative Concepts (ECs, known concepts detected from the video), which improve video

实验结果

研究问题

• RQ1 更具表现力的文本描述（EDs）是否能超越简单词嵌入，在零样本动作识别中带来性能提升？
• RQ2 来自图像模型的物体级语义概念（ECs）是否能增强视频表征并提升ZSAR中的泛化能力？
• RQ3 受人类记忆复述启发的训练目标（ER损失）是否能提升对未见动作的泛化能力？
• RQ4 所提出的ZSAR模型在真实场景下与少样本监督学习相比表现如何？
• RQ5 该方法是否能在无任何标注训练样本的情况下，有效泛化到多样化动作类别？

主要发现

• ER增强型ZSAR模型在Olympic Sports、HMDB51和UCF101基准上均达到最先进性能，UCF101上的top-1准确率达到87.2%。
• 使用BERT编码EDs显著优于基于GloVe的池化方法，证明了在动作描述中引入上下文理解的优势。
• ER损失大幅提升了零样本泛化能力，尤其在未见动作上表现显著，证明其在语义复述中的有效性。
• 通过多模态注意力联合时空（ST）与物体特征可获得最佳性能，优于单一模态的方案。
• 该模型在Kinetics ZSAR上超越了1-shot监督基线，实现42.1%的top-1准确率，且无需任何训练数据，尽管仍落后于2-shot监督模型。
• EDs对物体表征也具有益处，将物体类别名称替换为EDs后性能进一步提升，表明增强表征具有普遍适用性。

Figure 2 : Architecture of our ER-enhanced ZSAR model. The action class embedding function (left) extends action names to EDs towards action class embedding $z$ . The multimodal video embedding function generates spatio-temporal and object features $[x_{vo},x_{ov}]$ (middle) for the video. The ER lo