[论文解读] A Meta-Learning Framework for Generalized Zero-Shot Learning

Vinay Kumar Verma, Dhanajit Brahma+1 more|arXiv (Cornell University)|Sep 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 62被引用 12

一句话总结

该论文提出了一种基于元学习的条件Wasserstein GAN框架，通过在互不重叠的已见/未见类别任务上进行训练，联合优化少样本零样本学习与广义零样本学习。在aPY上实现了27.9%的相对性能提升，在CUB、AWA1和AWA2上也取得了显著增益，即使每个已见类别仅有5–10个样本。

ABSTRACT

Learning to classify unseen class samples at test time is popularly referred to as zero-shot learning (ZSL). If test samples can be from training (seen) as well as unseen classes, it is a more challenging problem due to the existence of strong bias towards seen classes. This problem is generally known as \emph{generalized} zero-shot learning (GZSL). Thanks to the recent advances in generative models such as VAEs and GANs, sample synthesis based approaches have gained considerable attention for solving this problem. These approaches are able to handle the problem of class bias by synthesizing unseen class samples. However, these ZSL/GZSL models suffer due to the following key limitations: $(i)$ Their training stage learns a class-conditioned generator using only \emph{seen} class data and the training stage does not \emph{explicitly} learn to generate the unseen class samples; $(ii)$ They do not learn a generic optimal parameter which can easily generalize for both seen and unseen class generation; and $(iii)$ If we only have access to a very few samples per seen class, these models tend to perform poorly. In this paper, we propose a meta-learning based generative model that naturally handles these limitations. The proposed model is based on integrating model-agnostic meta learning with a Wasserstein GAN (WGAN) to handle $(i)$ and $(iii)$, and uses a novel task distribution to handle $(ii)$. Our proposed model yields significant improvements on standard ZSL as well as more challenging GZSL setting. In ZSL setting, our model yields 4.5\%, 6.0\%, 9.8\%, and 27.9\% relative improvements over the current state-of-the-art on CUB, AWA1, AWA2, and aPY datasets, respectively.

研究动机与目标

• 解决现有生成式ZSL/GZSL模型的关键局限：训练期间缺乏对未见类别的显式生成、共享参数泛化能力差，以及在少样本已见类别设置下性能不佳。
• 通过使用元学习生成模型合成未见类别样本，缓解广义零样本学习（GZSL）中的类别偏差。
• 通过仅使用每类5–10个标注样本进行训练，实现有效的少样本泛化，模拟现实世界中的数据稀缺场景。
• 设计一种新颖的元学习任务分布，将训练类与验证类划分为互不重叠的集合，使模型在元训练过程中学会生成新类别。

提出的方法

• 将模型无关元学习（MAML）与条件Wasserstein GAN（WGAN）结合，使模型能通过少量梯度更新快速适应已见和未见类别。
• 为生成器、判别器和分类器分别引入独立的元学习代理，以提升在低样本条件下的泛化能力与鲁棒性。
• 设计一种新颖的零样本元学习（ZSML）任务分布，其中每个episode的训练类与验证类互不重叠，使模型在元训练过程中学会生成未见类别样本。
• 通过类别属性（如word2vec或属性向量）对生成器进行条件控制，以合成已见与未见类别的真实感样本。
• 联合训练分类器头与GAN，确保生成样本不仅逼真，且在语义上与类别标签一致。
• 采用端到端对抗损失与元优化联合训练模型，最小化真实样本与生成样本之间的分布偏移，同时保持类别特定的生成能力。

实验结果

研究问题

• RQ1 基于元学习的生成模型是否能在仅使用每类少量样本的已见类别数据进行训练时，仍能有效合成高质量的未见类别样本？
• RQ2 在元训练episode中采用类别互不重叠的划分方式（ZSML划分）是否相比标准MAML划分，能提升模型对未见类别的泛化能力？
• RQ3 在生成器与判别器组件中引入元学习器对少样本零样本学习与广义零样本学习的性能有何影响？
• RQ4 在低样本已见类别设置下，所提框架在ZSL与GZSL任务中相较于现有SOTA方法的性能优势有多大？

主要发现

• 在ZSL设置下，该模型在CUB、AWA1、AWA2和aPY数据集上分别相较SOTA方法实现了4.5%、6.0%、9.8%和27.9%的相对性能提升。
• 仅使用每类5个标注样本时，该模型在CUB、aPY和AWA2上仍优于SOTA方法，展现出强大的少样本泛化能力。
• 当每类仅使用10个样本时，该模型在ZSL任务中仍超越现有方法，即使后者使用了全部训练数据。
• 消融实验表明，若从判别器中移除元学习器，CUB和AWA2上的准确率分别下降5.8%和8.6%，凸显其在反馈质量中的关键作用。
• 若从生成器中移除元学习器，CUB和AWA2上的准确率分别下降2.2%和7.9%，表明元学习生成器对高保真度样本生成至关重要。
• 所提出的新型ZSML任务分布（训练类与验证类互不重叠）相比标准MAML划分，在AWA2上提升ZSL性能1.7%，在CUB上提升2.4%。