[论文解读] Few-Shot Unsupervised Continual Learning through Meta-Examples

Alessia Bertugli, Stefano Vincenzi+2 more|arXiv (Cornell University)|Sep 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 48被引用 4

一句话总结

该论文提出了 FUSION，一种新颖的少样本无监督持续学习设定，其任务具有不平衡性且由聚类生成，同时引入了 MEML，一种元学习方法，通过自注意力机制形成单一的‘元样本’以实现高效的内循环更新。该方法在 Omniglot 和 Mini-ImageNet 上实现了具有竞争力的性能，甚至在某些情况下超越了监督基线模型，并表明小规模、不平衡的聚类以及特征可变性有助于提升对数据平衡的泛化能力。

ABSTRACT

In real-world applications, data do not reflect the ones commonly used for neural networks training, since they are usually few, unlabeled and can be available as a stream. Hence many existing deep learning solutions suffer from a limited range of applications, in particular in the case of online streaming data that evolve over time. To narrow this gap, in this work we introduce a novel and complex setting involving unsupervised meta-continual learning with unbalanced tasks. These tasks are built through a clustering procedure applied to a fitted embedding space. We exploit a meta-learning scheme that simultaneously alleviates catastrophic forgetting and favors the generalization to new tasks. Moreover, to encourage feature reuse during the meta-optimization, we exploit a single inner loop taking advantage of an aggregated representation achieved through the use of a self-attention mechanism. Experimental results on few-shot learning benchmarks show competitive performance even compared to the supervised case. Additionally, we empirically observe that in an unsupervised scenario, the small tasks and the variability in the clusters pooling play a crucial role in the generalization capability of the network. Further, on complex datasets, the exploitation of more clusters than the true number of classes leads to higher results, even compared to the ones obtained with full supervision, suggesting that a predefined partitioning into classes can miss relevant structural information.

研究动机与目标

• 为填补现实世界持续学习中数据少、无标签且不平衡的空白，提出一种更真实的设定。
• 开发一种元学习框架，以缓解灾难性遗忘，并在无监督持续学习中对新的不平衡任务实现良好泛化。
• 探究在少样本无监督学习中，不平衡聚类与特征可变性对模型泛化的影响。
• 证明预定义的类别划分可能遗漏结构信息，而使用多于真实类数的聚类可提升性能。

提出的方法

• 该方法首先使用嵌入网络（Deep Cluster 或 ACAI）从无标签数据中学习潜在空间，随后应用 k-means 聚类以形成不平衡的任务。
• 任务由大小不一的聚类构成，保留数据分布特性，避免人为平衡或聚类正则化。
• MEML 采用双层元学习机制：通过自注意力机制在单个内循环更新中聚合最具代表性的特征，形成单一的‘元样本’。
• 外循环通过结合任务特定数据与整体训练轨迹中随机采样的数据，对整个模型进行优化，以防止遗忘。
• 自注意力系数通过可学习网络计算，以识别每个聚类中最具有信息量的样本，从而实现高效且集中的特征重用。
• 模型使用 Adam 优化器进行训练，元小批量大小为 1，并在 Omniglot、Mini-ImageNet、SlimageNet64 和 Cifar100 上进行分布外评估测试。

实验结果

研究问题

• RQ1 当任务由无监督聚类而非平衡的预定义类别生成时，元学习模型的性能如何变化？
• RQ2 使用小规模或不平衡聚类对持续学习中的泛化能力与灾难性遗忘有何影响？
• RQ3 能否通过形成单一元样本的自注意力机制，提升少样本无监督持续学习中的效率与性能？
• RQ4 使用多于真实类数的聚类是否能带来优于监督基线或固定类别划分的性能？
• RQ5 当在 Omniglot 或 Mini-ImageNet 上训练时，模型在 Cifar100 等分布外数据集上的泛化能力如何？

主要发现

• 在 Omniglot 数据集上，MEML 模型在 5 类 1 样本设置下达到 91.1% 的准确率，优于监督基线，展现出在无监督持续学习中的强大泛化能力。
• 在 Mini-ImageNet 上，模型在 5 类 1 样本设置下达到 57.4% 的准确率，尽管训练过程中无标签信息，仍表现出具有竞争力的性能。
• 消融实验表明，基于自注意力生成的元样本进行更新，优于随机采样或对同一任务进行多次更新，显著降低训练时间和内存消耗。
• 实证结果表明，不平衡聚类与特征可变性对泛化能力的影响比数据平衡更为关键，说明小规模聚类对学习具有实质性贡献。
• 使用多于真实类数的聚类，其性能优于复杂数据集上的全监督设定，表明预定义的类别边界可能遗漏潜在的结构信息。
• 在 Cifar100 上，使用 FiLM 层微调 Omniglot 数据的模型在 2 类 1 样本设置下达到 50.0% 的准确率，表明其在分布外任务上具备良好的迁移能力。