[论文解读] Visual Data Synthesis via GAN for Zero-Shot Video Classification

Chenrui Zhang, Yuxin Peng|arXiv (Cornell University)|Apr 26, 2018

Domain Adaptation and Few-Shot Learning参考文献 15被引用 11

一句话总结

本文提出了一种基于生成对抗网络（GAN）的视觉数据合成框架，用于零样本视频分类，通过多层次语义推理和匹配感知互信息相关性，生成高质量的合成视频特征。通过建模视觉-语义联合分布并缓解异质性差距，该方法在四个视频数据集上实现了最先进性能，显著优于现有的基于投影的方法。

ABSTRACT

Zero-Shot Learning (ZSL) in video classification is a promising research direction, which aims to tackle the challenge from explosive growth of video categories. Most existing methods exploit seen-to-unseen correlation via learning a projection between visual and semantic spaces. However, such projection-based paradigms cannot fully utilize the discriminative information implied in data distribution, and commonly suffer from the information degradation issue caused by "heterogeneity gap". In this paper, we propose a visual data synthesis framework via GAN to address these problems. Specifically, both semantic knowledge and visual distribution are leveraged to synthesize video feature of unseen categories, and ZSL can be turned into typical supervised problem with the synthetic features. First, we propose multi-level semantic inference to boost video feature synthesis, which captures the discriminative information implied in joint visual-semantic distribution via feature-level and label-level semantic inference. Second, we propose Matching-aware Mutual Information Correlation to overcome information degradation issue, which captures seen-to-unseen correlation in matched and mismatched visual-semantic pairs by mutual information, providing the zero-shot synthesis procedure with robust guidance signals. Experimental results on four video datasets demonstrate that our approach can improve the zero-shot video classification performance significantly.

研究动机与目标

• 解决基于投影的零样本视频分类方法存在的信息退化和异质性差距问题。
• 联合利用视觉数据分布和语义知识，实现对未见类别中鲁棒的视频特征合成。
• 通过使用合成特征将任务转化为监督学习问题，从而提升零样本视频分类性能。
• 通过对抗训练增强特征判别性，缓解零样本学习中常见的hubness问题。

提出的方法

• 提出多层次语义推理，实现双向生成：在特征和标签层面同时进行语义到视觉和视觉到语义的合成，以捕捉判别性属性。
• 引入匹配感知互信息相关性（MMICC），通过匹配与不匹配的视觉-语义对中的互信息，建模已见类别到未见类别的关系。
• 采用条件生成对抗网络（conditional GAN）框架，其中生成器基于语义嵌入条件生成视频特征，并通过对抗训练进行引导。
• 通过最大化匹配对之间的互信息并最小化不匹配对之间的互信息，提供鲁棒的指导信号。
• 训练生成器以生成在特征空间中既语义对齐又判别分离的合成特征。
• 采用t-SNE可视化和消融研究，验证各组件在减少hubness和提升泛化能力方面的有效性。

实验结果

研究问题

• RQ1 通过GAN进行生成建模能否有效合成未见类别在零样本视频分类中的判别性视频特征？
• RQ2 如何联合利用视觉数据分布和语义知识以提升特征合成的鲁棒性？
• RQ3 匹配感知互信息相关性在多大程度上能缓解零样本视频学习中的异质性差距和信息退化问题？
• RQ4 与基线GAN和基于投影的方法相比，所提出的框架是否能有效减少hubness问题？
• RQ5 合成特征是否能在不同类型的视觉特征（例如FV和深度特征）以及不同数据集上实现泛化？

主要发现

• 在UCF101和CCV数据集上，使用SVM和深度特征时，所提方法分别取得了27.3%和22.3%的top-1准确率，显著优于cGAN基线（13.9%和13.9%）和真实特征基线（11.9%和11.6%）。
• 消融研究显示，结合语义推理与MMICC可获得最高性能（在UCF101上使用FV时mAP达28.8%），证明了两者的互补优势。
• t-SNE可视化结果表明，所提方法生成的合成特征聚类更紧密且重叠更少，表明hubness问题得到缓解。
• 该方法在传统FV和深度视频特征上均提升了零样本性能，证明了其在不同特征类型上的鲁棒性。
• MMICC被发现是减少信息退化的最有效组件，其性能提升显著优于单一组件的消融实验。
• 该框架在四个视频数据集上均取得了最先进结果，证实了其在零样本视频分类中的泛化能力与有效性。