[论文解读] Self-Training Ensemble Networks for Zero-Shot Image Recognition.

Meng Ye, Yuhong Guo|arXiv (Cornell University)|May 18, 2018

Domain Adaptation and Few-Shot Learning参考文献 32被引用 8

一句话总结

本文提出了一种用于零样本图像识别的自训练集成网络，通过在共享特征提取器中利用多种标签嵌入表示，提升对未见类别的知识迁移能力。通过迭代地为高置信度的未标记样本分配伪标签并微调集成模型，该方法有效缓解了域偏移问题，并在标准零样本学习基准上实现了最先进性能。

ABSTRACT

Despite the advancement of supervised image recognition algorithms, their de- pendence on the availability of labeled data and the rapid expansion of image categories raise the significant challenge of zero-shot learning. Zero-shot learn- ing (ZSL) aims to transfer knowledge from labeled classes into unlabeled classes to reduce human labeling effort. In this paper, we propose a novel self-training ensemble network model to address zero-shot image recognition. The ensemble network is built by learning multiple image classification functions with a shared feature extraction network but different label embedding representations, each of which facilitates information transfer to different subsets of unlabeled classes. A self-training framework is then deployed to iteratively label the most confident images in each unlabeled class with predicted pseudo-labels and update the ensem- ble network with the training data augmented by the pseudo-labels. The proposed model performs training on both labeled and unlabeled data. It can naturally bridge the domain shift problem in visual appearances and be extended to the generalized zero-shot learning scenario. We conduct experiments on multiple standard ZSL datasets and the empirical results demonstrate the efficacy of the proposed model.

研究动机与目标

• 为解决零样本图像识别中标注数据稀缺且新类别快速涌现的挑战。
• 通过将知识从已见类别迁移到未见类别，减少人工标注工作量。
• 通过改进特征表示与标签表示学习，缓解已见与未见视觉类别之间的域偏移。
• 将模型扩展至广义零样本学习设置，其中测试样本可能属于任意类别（已见或未见）。

提出的方法

• 该模型采用多个分类头组成的集成，每个分类头具有不同的标签嵌入表示，均在相同的共享特征提取器上训练。
• 每个集成成员基于其独特的标签嵌入学习图像分类，从而实现对未见类别不同子集的多样化知识迁移。
• 采用自训练框架，迭代地为未标记类别中置信度最高的预测分配伪标签。
• 使用原始标注数据和新生成的伪标签未标记数据重新训练集成模型，提升泛化能力。
• 通过在已见和未见类别之间对齐视觉特征与语义标签嵌入，该框架自然地缓解了域偏移问题。
• 通过允许预测任意类别的测试样本，该方法可扩展至广义零样本学习。

实验结果

研究问题

• RQ1 具有共享特征但不同标签嵌入的分类器集成能否提升零样本泛化能力？
• RQ2 利用伪标签进行自训练在未见图像类别上的性能提升效果如何？
• RQ3 该模型在多大程度上缓解了已见与未见视觉类别之间的域偏移？
• RQ4 所提出的框架能否成功扩展至广义零样本学习场景？

主要发现

• 所提模型在多个标准零样本学习数据集上实现了最先进性能。
• 自训练机制通过利用未标记类别中高置信度的伪标签样本，显著提升了识别准确率。
• 采用多样化标签嵌入的集成模型实现了对未见类别的更鲁棒、更全面的知识迁移。
• 通过在已见与未见类别之间对齐视觉与语义表示，该模型有效缓解了域偏移问题。
• 该框架在广义零样本学习设置下具有良好的泛化能力，在此场景下优于现有方法。