[论文解读] Generating Visual Representations for Zero-Shot Classification

Maxime Bucher, Stéphane Herbin+1 more|arXiv (Cornell University)|Aug 23, 2017

Domain Adaptation and Few-Shot Learning参考文献 29被引用 17

一句话总结

本文提出了一种新颖的零样本分类（ZSC）与广义零样本分类（GZSC）方法，通过训练一个条件生成器，从未见类别的语义属性中合成人工视觉特征，将ZSC转化为标准的监督学习问题。该方法在5个数据集上使用4种生成模型均取得了最先进性能，显著优于以往基于嵌入的方法，实现了视觉特征空间中判别性分类器的有效应用。

ABSTRACT

This paper addresses the task of learning an image clas-sifier when some categories are defined by semantic descriptions only (e.g. visual attributes) while the others are defined by exemplar images as well. This task is often referred to as the Zero-Shot classification task (ZSC). Most of the previous methods rely on learning a common embedding space allowing to compare visual features of unknown categories with semantic descriptions. This paper argues that these approaches are limited as i) efficient discrimi-native classifiers can't be used ii) classification tasks with seen and unseen categories (Generalized Zero-Shot Classification or GZSC) can't be addressed efficiently. In contrast , this paper suggests to address ZSC and GZSC by i) learning a conditional generator using seen classes ii) generate artificial training examples for the categories without exemplars. ZSC is then turned into a standard supervised learning problem. Experiments with 4 generative models and 5 datasets experimentally validate the approach, giving state-of-the-art results on both ZSC and GZSC.

研究动机与目标

• 为克服现有ZSC方法依赖共享嵌入空间、无法有效使用判别性分类器的局限性。
• 解决广义零样本分类（GZSC）中测试时同时存在已见与未见类别所导致的偏差问题。
• 通过为未见类别生成人工训练样本，使强大的深度判别模型能够在ZSC中应用。
• 在标准ZSC与大规模GZSC场景下，验证生成特征合成的有效性。

提出的方法

• 训练一个条件生成模型（如GAN、VAE或VAE-GAN），将未见类别的语义属性映射为合成的视觉特征表示。
• 利用已见类别的图像特征及其对应属性监督生成器，学习从属性到视觉特征的映射关系。
• 在真实训练数据（已见类别）与生成的合成数据（未见类别）的联合数据集上训练判别性分类器（如SVM或神经网络）。
• 利用预训练的词嵌入（如500维的skip-gram）将类别名称表示为密集的语义向量，作为属性输入。
• 在训练过程中应用数据增强技术，以提升生成器与分类器的泛化能力。
• 在推理阶段，利用生成器为所有未见类别生成合成特征，实现端到端分类。

实验结果

研究问题

• RQ1 与传统基于嵌入的方法相比，从语义属性生成合成视觉特征是否能提升零样本分类性能？
• RQ2 所提出的方法是否能有效缓解广义零样本分类（GZSC）中测试时同时存在已见与未见类别所导致的偏差问题？
• RQ3 通过为未见类别合成训练数据，是否能成功在ZSC中应用判别性分类器？
• RQ4 该方法在不同层次的类别层次结构（如2跳、3跳、所有未见类别）下的性能表现如何？
• RQ5 不同生成模型（如GAN、VAE）对合成特征质量及最终分类准确率有何影响？

主要发现

• 所提方法在全部5个基准数据集（包括CUB、AwA、aP&Y和SUN）上均达到最先进性能，使用VGG特征时在CUB上提升超过15%。
• 在2跳ZSC场景下，该方法将Flat-Hit@1提升5个百分点，优于现有最佳方法。
• 在SUN数据集上，使用VGG-19特征时达到88.01%的准确率，优于以往最先进方法，包括使用MIT Places预训练特征的方法。
• 通过同时在真实与合成的已见及未见类别样本上进行训练，该方法显著降低了GZSC中的偏差，避免了传统ZSC方法中常见的决策偏差。
• 在生成特征上使用判别性分类器的性能优于传统基于兼容性分数的ZSC方法，验证了判别性学习可从合成数据中获益的假设。
• 该方法在不同生成模型（如GAN、VAE、VAE-GAN）上均表现出良好泛化能力，展现出对大规模ZSC任务的鲁棒性与可扩展性。