[论文解读] Assume, Augment and Learn: Unsupervised Few-Shot Meta-Learning via Random Labels and Data Augmentation

Antreas Antoniou, Amos Storkey|arXiv (Cornell University)|Feb 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 22被引用 36

一句话总结

引入 AAL，一种无监督方法，通过对未标记数据的子集分配随机标签并通过数据增强创建目标集，从而从未标记数据生成少量示例任务；可与标准元学习框架结合，在无需微调的情况下在少样本任务上表现良好。

ABSTRACT

The field of few-shot learning has been laboriously explored in the supervised setting, where per-class labels are available. On the other hand, the unsupervised few-shot learning setting, where no labels of any kind are required, has seen little investigation. We propose a method, named Assume, Augment and Learn or AAL, for generating few-shot tasks using unlabeled data. We randomly label a random subset of images from an unlabeled dataset to generate a support set. Then by applying data augmentation on the support set's images, and reusing the support set's labels, we obtain a target set. The resulting few-shot tasks can be used to train any standard meta-learning framework. Once trained, such a model, can be directly applied on small real-labeled datasets without any changes or fine-tuning required. In our experiments, the learned models achieve good generalization performance in a variety of established few-shot learning tasks on Omniglot and Mini-Imagenet.

研究动机与目标

• 在没有标签可用的情况下激发无监督的少样本学习。
• 提出一种任务生成策略，从未标记数据中创建支持集和目标集。
• 使现有的元学习框架能够在这些无监督任务上进行训练而无需微调。
• 在标准少样本基准上评估该方法以评估泛化能力。
• 研究数据增强策略，以最大程度地实现对真实带标签数据的迁移。

提出的方法

• 通过对随机抽取的未标记数据点随机分配标签来创建支持集。
• 通过对支持集应用数据增强并保持标签不变来生成相应的目标集。
• 在生成的无监督任务上训练标准元学习模型（MAML 和 Prototypical Networks）。
• 在真实带标签的少样本任务上评估训练好的模型，而无需微调。
• 探索并消融多种数据增强技术，以确定对目标集有效的增强方法。
• 在 MAML++ 框架中应用该方法，以提高稳定性和泛化能力。

实验结果

研究问题

• RQ1 从未标记数据进行无监督任务生成是否能够在没有任何标签的情况下实现有效的少样本元学习？
• RQ2 哪些数据增强策略最能将学得的表征迁移到真实带标签的少样本任务？
• RQ3 当与 MAML 和 Prototypical Networks 结合时，无监督的 AAL 方法的表现如何？
• RQ4 数据增强对在 Omniglot 和 Mini-Imagenet 基准上的泛化有何影响？

主要发现

• AAL 方法使少样本学习模型在无需微调的情况下即可泛化到真实带标签的任务。
• 从未标记数据生成的无监督任务可以与标准元学习框架（MAML 和 Prototypical Networks）一起使用。
• 数据增强在创建有意义的目标集方面起着至关重要的作用，并且会显著影响泛化性能。
• 在实验中，AAL 与 MAML++ 及某些增强在 Omniglot 和 Mini-Imagenet 任务上相较于有监督基线和并发的无监督方法也取得了具有竞争力的结果。
• 该方法在 Omniglot 任务上比至少一个并发无监督基线表现更好，在利用来自大型带标签数据集的自动增强时可能存在权衡。