[论文解读] Adversarial Feature Hallucination Networks for Few-Shot Learning

Kai Li, Yulun Zhang+2 more|arXiv (Cornell University)|Mar 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用 23

一句话总结

该论文提出对抗性特征幻化网络（AFHN），一种基于条件Wasserstein GAN的框架，通过利用少量标注样本进行条件化，生成多样且具有判别性的特征，以实现少样本学习。该方法引入两种新型正则化器——分类正则化器（CR）用于增强判别性，反坍塌正则化器（AR）用于提升多样性，在Mini-ImageNet、CIFAR100和FC100基准上达到最先进性能，显著优于现有的数据增强与元学习方法。

ABSTRACT

The recent flourish of deep learning in various tasks is largely accredited to the rich and accessible labeled data. Nonetheless, massive supervision remains a luxury for many real applications, boosting great interest in label-scarce techniques such as few-shot learning (FSL), which aims to learn concept of new classes with a few labeled samples. A natural approach to FSL is data augmentation and many recent works have proved the feasibility by proposing various data synthesis models. However, these models fail to well secure the discriminability and diversity of the synthesized data and thus often produce undesirable results. In this paper, we propose Adversarial Feature Hallucination Networks (AFHN) which is based on conditional Wasserstein Generative Adversarial networks (cWGAN) and hallucinates diverse and discriminative features conditioned on the few labeled samples. Two novel regularizers, i.e., the classification regularizer and the anti-collapse regularizer, are incorporated into AFHN to encourage discriminability and diversity of the synthesized features, respectively. Ablation study verifies the effectiveness of the proposed cWGAN based feature hallucination framework and the proposed regularizers. Comparative results on three common benchmark datasets substantiate the superiority of AFHN to existing data augmentation based FSL approaches and other state-of-the-art ones.

研究动机与目标

• 通过生成高质量的合成特征，解决少样本学习（FSL）中标签数据有限的挑战。
• 克服现有数据增强方法的局限性，这些方法无法同时保证合成样本的判别性与多样性。
• 开发一种基于条件生成对抗网络（GAN）的框架，基于来自新类别的少量标注样本幻化生成特征。
• 引入新型正则化器，显式强制实现特征的判别性，并防止生成过程中的模式坍塌。
• 在标准FSL基准上，证明所提方法相较于当前最先进数据增强与元学习方法的优越性能。

提出的方法

• AFHN采用条件Wasserstein GAN（cWGAN）生成以少量新类别标注样本特征为条件的合成特征。
• 分类正则化器（CR）强制使合成特征与同类别真实特征高度相似，同时最小化与其他类别特征的相似度。
• 反坍塌正则化器（AR）惩罚潜在空间中相似噪声向量产生相似特征输出的情况，从而抑制模式坍塌并促进多样性。
• 生成器被训练以生成兼具判别性（通过CR）与多样性的特征（通过AR），从而提升分类器的泛化能力。
• 该框架在特征空间而非图像空间中运行，实现更结构化且语义更清晰的数据增强。
• 消融研究验证了cWGAN框架以及两种正则化器在单独与联合使用时的有效性。

实验结果

研究问题

• RQ1 基于条件GAN的特征幻化框架能否有效生成提升少样本分类性能的合成特征？
• RQ2 所提出的分类正则化器是否能通过将合成特征对齐至同类别真实特征，增强其判别性？
• RQ3 反坍塌正则化器能否成功缓解条件GAN中的模式坍塌，提升合成特征的多样性？
• RQ4 AFHN在少样本学习基准上与当前最先进数据增强与元学习方法相比表现如何？
• RQ5 当受限于少量标注样本导致类内方差较小时，通过特征幻化进行数据增强在多大程度上能提升分类准确率？

主要发现

• 在Mini-ImageNet数据集上，AFHN在5-shot设置下达到最先进性能，相比之前SOTA方法提升2.4%。
• 在CIFAR100上，AFHN在1-shot和5-shot设置下分别较Dual TriNet提升5%和3%，较最佳元学习方法提升7%和4%。
• 在CIFAR100上，AFHN相比基线方法在1-shot和5-shot设置下分别提升10%和5%，证明了基于GAN的数据增强的有效性。
• 在FC100上，AFHN在1-shot设置下取得适度提升，在5-shot设置下取得微小增益，归因于数据集规模较小及类内方差有限。
• 消融研究证实，CR与AR正则化器均对性能提升有显著贡献，其中AR尤其在t-SNE可视化中显示出对特征多样性的增强作用。
• 合成特征的数量对准确率具有饱和效应，表明一旦类内方差被充分捕捉，性能即趋于稳定。