[论文解读] Few-Shot Image Classification via Contrastive Self-Supervised Learning

Jianyi Li, Guizhong Liu|arXiv (Cornell University)|Aug 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 4被引用 10

一句话总结

该论文提出了一种新颖的无监督少样本学习范式 CSSL-FSL，用对比自监督学习替代元训练，以预训练一个可迁移的特征提取器。随后，通过图聚合、自蒸馏和流形数据增强训练特定任务的分类器，在无需标注基础类别或任务特定元训练的情况下，在多种少样本设置中实现了最先进性能。

ABSTRACT

Most previous few-shot learning algorithms are based on meta-training with fake few-shot tasks as training samples, where large labeled base classes are required. The trained model is also limited by the type of tasks. In this paper we propose a new paradigm of unsupervised few-shot learning to repair the deficiencies. We solve the few-shot tasks in two phases: meta-training a transferable feature extractor via contrastive self-supervised learning and training a classifier using graph aggregation, self-distillation and manifold augmentation. Once meta-trained, the model can be used in any type of tasks with a task-dependent classifier training. Our method achieves state of-the-art performance in a variety of established few-shot tasks on the standard few-shot visual classification datasets, with an 8- 28% increase compared to the available unsupervised few-shot learning methods.

研究动机与目标

• 解决现有少样本学习方法依赖大量标注基础类别进行元训练的局限性。
• 克服元训练模型仅限于特定 N 类 k 样本任务配置的约束。
• 开发一种统一且可迁移的特征提取器，无需微调即可在多种少样本任务类型中泛化。
• 仅使用无标签数据进行预训练，以及在微调阶段使用极少监督，实现高性能的少样本分类。

提出的方法

• 在大规模无标签图像上使用对比自监督学习预训练特征提取器，以虚假少样本任务替代传统元训练。
• 使用预训练主干网络提取真实少样本任务中支持集和查询集的特征。
• 应用特定任务图来聚合特征，通过图卷积操作实现支持集与查询集特征之间的交互。
• 在聚合的支持集特征上使用自蒸馏训练全连接分类器，以提升泛化能力。
• 通过组合多张图像的语义特征，应用流形数据增强技术合成新训练样本。
• 采用两阶段训练流程微调分类器：首先使用增强数据训练，再通过自蒸馏优化预测结果。

实验结果

研究问题

• RQ1 对比自监督学习能否替代元训练，通过虚假少样本任务预训练出可泛化的特征提取器？
• RQ2 单个预训练模型是否能在不重新训练的情况下有效泛化到多种 N 类 k 样本任务配置？
• RQ3 自蒸馏和流形数据增强在提升少样本分类准确率方面分别起到什么作用？
• RQ4 无监督预训练能否实现与依赖大规模标注基础类别的监督少样本方法相当或更优的性能？

主要发现

• CSSL-FSL 在 miniImageNet 上实现了最先进性能，相较于无监督少样本学习方法，准确率提升 8–28%。
• 在 5 类 1 样本和 5 类 5 样本任务中，CSSL-FSL 即使在大规模数据集上预训练，也比某些监督方法（如 [5] 和 [2]）高出 1–8%。
• 该方法具备良好的任务泛化能力：准确率从 1 样本时的 54.17% 提升至 30 样本时的 80.83%，而基于元训练的 EGNN 方法在更高 k 值时性能下降。
• 自蒸馏使准确率提升 0.4–0.9%，流形数据增强额外贡献 0.8–2% 的增益，消融实验表明在 1 样本设置下同时移除两者会导致准确率下降 3%。
• 随着预训练数据集规模增大，性能显著提升，证实了对比自监督学习的可扩展性。
• 模型展现出强大的零样本泛化能力：一次预训练即可部署于任意 N 类 k 样本任务，无需重新训练。