[论文解读] Revisiting Contrastive Learning for Few-Shot Classification.

Orchid Majumder, Avinash Ravichandran+4 more|arXiv (Cornell University)|Jan 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 51被引用 13

一句话总结

本文提出CIDS，一种对比学习框架，通过在基于实例判别自监督学习中引入监督信息，提升少样本分类中的泛化能力。通过在预训练阶段利用类别级监督，CIDS在Mini-ImageNet、Tiered-ImageNet和Meta-Dataset基准上取得最先进性能，其新颖的模型选择策略进一步提升了性能。

ABSTRACT

Instance discrimination based contrastive learning has emerged as a leading approach for self-supervised learning of visual representations. Yet, its generalization to novel tasks remains elusive when compared to representations learned with supervision, especially in the few-shot setting. We demonstrate how one can incorporate supervision in the instance discrimination based contrastive self-supervised learning framework to learn representations that generalize better to novel tasks. We call our approach CIDS (Contrastive Instance Discrimination with Supervision). CIDS performs favorably compared to existing algorithms on popular few-shot benchmarks like Mini-ImageNet or Tiered-ImageNet. We also propose a novel model selection algorithm that can be used in conjunction with a universal embedding trained using CIDS to outperform state-of-the-art algorithms on the challenging Meta-Dataset benchmark.

研究动机与目标

• 解决基于实例判别对比学习在少样本分类设置中泛化能力有限的问题。
• 通过将类别级监督整合到对比学习框架中，改进自监督表征学习。
• 开发一种与CIDS训练的通用嵌入兼容的模型选择算法，以提升少样本性能。
• 缩小自监督与监督表征在低样本场景下的性能差距。

提出的方法

• CIDS通过在对比预训练阶段引入类别级监督，扩展了基于实例判别的对比学习。
• 提出双对比损失目标：实例级对比损失和类别级对比损失，以对齐同一类别的特征。
• 框架使用动量编码器以稳定训练并提升特征一致性。
• 提出一种新颖的模型选择算法，利用通用CIDS嵌入识别零样本少样本适应的最优超参数。
• 该方法利用投影头将特征映射到对比空间，其中正样本对来自同一类别，负样本对来自不同类别。
• 该方法在ImageNet上端到端训练，并在无额外监督的情况下微调至少样本基准。

实验结果

研究问题

• RQ1 将类别级监督整合到基于实例判别的对比学习中，能否提升少样本分类中的泛化能力？
• RQ2 CIDS在标准少样本基准上与现有自监督和监督方法相比表现如何？
• RQ3 能否通过模型选择策略有效利用CIDS的通用嵌入适应新型少样本任务？
• RQ4 监督对低数据场景下表征质量有何影响？

主要发现

• CIDS在Mini-ImageNet和Tiered-ImageNet基准上达到最先进性能，优于现有自监督和监督基线方法。
• 所提出的模型选择算法使通用CIDS嵌入在具有挑战性的Meta-Dataset基准上超越最先进结果。
• 引入类别级监督显著提升了基于实例判别对比学习在少样本场景下的泛化能力。
• 双对比损失目标（实例与类别）相比标准对比学习，生成更具判别性和鲁棒性的特征表示。