[论文解读] Generative Dual Adversarial Network for Generalized Zero-shot Learning

He Huang, Changhu Wang+2 more|arXiv (Cornell University)|Nov 12, 2018

Domain Adaptation and Few-Shot Learning参考文献 38被引用 5

一句话总结

本文提出生成式对偶对抗网络（GDAN），一种统一的广义零样本学习框架，通过循环一致性与对偶对抗损失，联合学习视觉到语义的映射、语义到视觉的生成以及度量学习。GDAN 在四个基准数据集上实现了最先进性能，通过生成高质量的未见类别视觉特征，同时在已见类别上保持高准确率。

ABSTRACT

This paper studies the problem of generalized zero-shot learning which requires the model to train on image-label pairs from some seen classes and test on the task of classifying new images from both seen and unseen classes. Most previous models try to learn a fixed one-directional mapping between visual and semantic space, while some recently proposed generative methods try to generate image features for unseen classes so that the zero-shot learning problem becomes a traditional fully-supervised classification problem. In this paper, we propose a novel model that provides a unified framework for three different approaches: visual-> semantic mapping, semantic->visual mapping, and metric learning. Specifically, our proposed model consists of a feature generator that can generate various visual features given class embeddings as input, a regressor that maps each visual feature back to its corresponding class embedding, and a discriminator that learns to evaluate the closeness of an image feature and a class embedding. All three components are trained under the combination of cyclic consistency loss and dual adversarial loss. Experimental results show that our model not only preserves higher accuracy in classifying images from seen classes, but also performs better than existing state-of-the-art models in in classifying images from unseen classes.

研究动机与目标

• 解决现有零样本学习模型依赖视觉空间与语义空间之间固定单向映射的局限性。
• 将三种互补方法——视觉到语义映射、语义到视觉生成与度量学习——统一为一个端到端框架。
• 在广义零样本学习设置下，提升对未见类别的泛化能力，同时保持对已见类别的高准确率。
• 提出一种新型对偶对抗损失，实现回归器与判别器之间的相互学习，增强特征对齐与相似性评估。

提出的方法

• 模型包含一个生成器，用于从类别嵌入生成视觉特征；一个回归器，将视觉特征映射回语义嵌入；以及一个判别器，用于评估视觉与语义特征之间的匹配程度。
• 通过循环一致性损失训练生成器与回归器，确保生成的特征可被重建为原始语义嵌入。
• 通过双对抗损失联合训练生成器与判别器，其中判别器负责区分真实与虚假（生成）特征对，而生成器则学习生成逼真且匹配的特征对。
• 通过联合优化循环一致性损失与双对抗损失，整体框架提升特征质量与对齐程度。
• 该模型支持半监督学习，并通过不依赖共享潜在空间的方式避免了hubness问题，转而学习灵活的、基于对抗的相似性度量。
• 采用t-SNE可视化对合成与真实图像特征的分布进行定性评估，结果表明生成特征与真实特征高度一致。

Figure 1: Four categories of zero-shot learning methods. (a) Embedding models that map visual features of the same class to the same feature in semantic space. (b) Models that map each class’s semantic feature to features in the visual space. (c) Metric learning models that directly learn to evaluat

实验结果

研究问题

• RQ1 一个统一的深度学习框架能否有效结合视觉到语义的映射、语义到视觉的生成与度量学习，以实现广义零样本学习？
• RQ2 与单向或非对抗方法相比，所提出的对偶对抗损失机制是否能提升特征对齐与分类性能？
• RQ3 生成器、回归器与判别器的联合训练如何影响对已见与未见类别的性能表现？
• RQ4 模型生成的合成视觉特征在分布与可分性方面，与真实特征的相似程度如何？

主要发现

• GDAN在四个基准数据集（CUB、SUN、AwA2、aPY）上实现最先进性能，显著优于现有方法在未见类别上的零样本分类准确率。
• 该模型在已见类别上保持高准确率，有效平衡了广义零样本学习设置下对已见与未见类别的性能表现。
• 消融实验表明，生成器、回归器与判别器均从联合训练中获益，验证了统一框架的有效性。
• 增加合成样本数量可提升未见类别的性能，且在约400个样本时趋于饱和，尤其在CUB与SUN等未见类别较多的数据集中收益显著。
• t-SNE可视化结果表明，合成图像特征分布良好，且与真实图像特征高度对齐，尤其在蓝鲸、绵羊与长颈鹿等类别上表现突出。
• 失败案例（如老鼠与雕像类别）表明，语义高度相似或视觉复杂性高的情况可能对模型的生成能力构成挑战。

Figure 2: Overall framework of the proposed GDAN model, where black arrows indicate data flow.