[论文解读] GAN for Vision, KG for Relation: a Two-stage Deep Network for Zero-shot Action Recognition

Bin Sun, Dehui Kong+4 more|arXiv (Cornell University)|May 25, 2021

Human Pose and Action Recognition参考文献 48被引用 7

一句话总结

该论文提出FGGA，一种用于零样本动作识别的两阶段深度神经网络，结合了条件Wasserstein GAN以生成未见动作的特征，并在知识图谱上使用图注意力网络以增强语义泛化能力。该方法在UCF101上实现了37.6%的调和平均准确率，在HMDB51上实现了36.4%的准确率，通过同时利用特征生成与动态关系建模，超越了先前的方法，达到最先进性能。

ABSTRACT

Zero-shot action recognition can recognize samples of unseen classes that are unavailable in training by exploring common latent semantic representation in samples. However, most methods neglected the connotative relation and extensional relation between the action classes, which leads to the poor generalization ability of the zero-shot learning. Furthermore, the learned classifier incline to predict the samples of seen class, which leads to poor classification performance. To solve the above problems, we propose a two-stage deep neural network for zero-shot action recognition, which consists of a feature generation sub-network serving as the sampling stage and a graph attention sub-network serving as the classification stage. In the sampling stage, we utilize a generative adversarial networks (GAN) trained by action features and word vectors of seen classes to synthesize the action features of unseen classes, which can balance the training sample data of seen classes and unseen classes. In the classification stage, we construct a knowledge graph (KG) based on the relationship between word vectors of action classes and related objects, and propose a graph convolution network (GCN) based on attention mechanism, which dynamically updates the relationship between action classes and objects, and enhances the generalization ability of zero-shot learning. In both stages, we all use word vectors as bridges for feature generation and classifier generalization from seen classes to unseen classes. We compare our method with state-of-the-art methods on UCF101 and HMDB51 datasets. Experimental results show that our proposed method improves the classification performance of the trained classifier and achieves higher accuracy.

研究动机与目标

• 为解决由于忽略动作类别之间语义关系而导致的零样本动作识别泛化能力差的问题。
• 通过在训练过程中合成未见类别特征来缓解类别不平衡问题。
• 通过利用结构化知识图谱关系来提升分类器在未见类别上的性能。
• 利用基于注意力的图卷积网络动态建模动作与物体之间的关系。
• 通过将词向量作为视觉与知识表征之间的语义桥梁，实现从已见类别到未见类别的零样本迁移。

提出的方法

• 采用带有额外损失项的条件Wasserstein GAN，利用已见类别特征与词向量生成未见动作类别的人工合成特征。
• 从动作类别的词向量及其相关物体中构建知识图谱，以编码内涵性与外延性语义关系。
• 采用带有注意力机制的图卷积网络，动态更新节点表征与边权重，以建模知识图谱中不断演化的关系。
• 词向量作为视觉特征与语义知识之间的跨模态桥梁，支持从已见类别到未见类别的零样本迁移。
• 两阶段框架首先在采样阶段生成人工特征，然后在分类阶段使用基于注意力的GCN进行分类。
• 通过循环一致性损失与对抗性损失进行端到端训练，以稳定特征生成并提升泛化能力。

实验结果

研究问题

• RQ1 生成对抗网络能否有效合成未见动作类别的真实感特征，以平衡训练数据？
• RQ2 具有动态关系建模能力的知识图谱是否能超越静态图结构，进一步提升零样本泛化能力？
• RQ3 将视觉特征与语义词向量结合，能否显著提升分类器在未见动作类别上的性能？
• RQ4 与固定邻接矩阵相比，GCN中的注意力机制在建模动作-物体关系方面有多大提升？
• RQ5 特征生成与知识图谱推理的结合是否能带来优于最先进方法的零样本识别准确率？

主要发现

• FGGA在UCF101上实现了37.6%的调和平均准确率，在HMDB51上实现了36.4%的准确率，优于包括CEWGAN与CLSWGAN在内的最先进方法。
• 消融实验证实，特征生成网络与图注意力机制均不可或缺，移除任一模块均会导致性能显著下降。
• 即使在使用GoogleNews重新训练词向量的情况下，模型仍保持较强性能，HMDB51上达到31.5%，UCF101上达到27.8%，表明对嵌入向量变化具有鲁棒性。
• 最优性能在特征维度为4096时达到；维度较低（如512）时性能差，而GCN层数过多（超过3–4层）则导致过拟合。
• 图注意力机制使节点关系能够动态适应，相比静态GCN模型，显著提升了泛化能力。
• 在GAN训练中引入循环一致性损失，稳定了特征生成过程，并增强了分类器对未见类别的泛化能力。