[论文解读] Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning

Yizhao Gao, Nanyi Fei+4 more|arXiv (Cornell University)|Jan 23, 2021

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出了一种新型少样本学习框架——增强嵌入对比原型学习（CPLAE），通过结合增强嵌入（AEs）与以支持集原型为中心的对比损失，提升特征学习能力。通过将类别原型作为锚点，并整合每个样本的多种增强视图，CPLAE提升了嵌入质量，在标准基准上实现了最先进性能。

ABSTRACT

Most recent few-shot learning (FSL) methods are based on meta-learning with episodic training. In each meta-training episode, a discriminative feature embedding and/or classifier are first constructed from a support set in an inner loop, and then evaluated in an outer loop using a query set for model updating. This query set sample centered learning objective is however intrinsically limited in addressing the lack of training data problem in the support set. In this paper, a novel contrastive prototype learning with augmented embeddings (CPLAE) model is proposed to overcome this limitation. First, data augmentations are introduced to both the support and query sets with each sample now being represented as an augmented embedding (AE) composed of concatenated embeddings of both the original and augmented versions. Second, a novel support set class prototype centered contrastive loss is proposed for contrastive prototype learning (CPL). With a class prototype as an anchor, CPL aims to pull the query samples of the same class closer and those of different classes further away. This support set sample centered loss is highly complementary to the existing query centered loss, fully exploiting the limited training data in each episode. Extensive experiments on several benchmarks demonstrate that our proposed CPLAE achieves new state-of-the-art.

研究动机与目标

• 解决基于查询中心损失的元学习方法在少样本学习（FSL）中因无法充分利用稀缺的支持集样本而存在的根本性局限。
• 通过引入以类别原型为中心的新学习目标，克服支持集中数据稀缺的问题，而非依赖查询样本。
• 通过构建结合原始特征与增强特征表示的增强嵌入（AEs），提升特征泛化能力。
• 将对比学习整合到FSL中，设计一种新型有监督对比损失，以原型作为锚点，查询样本作为正样本/负样本。
• 证明结合查询中心损失与支持集原型中心损失可实现更优的类别分离与更强的少样本泛化能力。

提出的方法

• 通过连接原始图像及其三种数据增强版本（如水平翻转、垂直翻转、旋转）的特征嵌入，构建增强嵌入（AEs）。
• 使用投影头将增强嵌入映射到潜在空间，以提升对比学习的表示质量。
• 设计一种新型对比原型学习（CPL）损失，其中每个类别原型作为锚点，同一类别的查询样本为正样本，其他样本为负样本。
• 将所提出的CPL损失与标准的查询中心损失（如ProtoNets中的损失）结合，在多目标学习框架中联合优化两个目标。
• 在训练过程中对嵌入顺序进行打乱，以防止捷径对齐，增强对比学习目标的鲁棒性。
• 采用基于任务的元学习进行训练，每个任务包含$n$个少样本类别，每类$k$个支持样本，最终在查询集上进行评估。

实验结果

研究问题

• RQ1 以原型为中心的对比损失是否能通过更有效地利用有限的支持集数据来提升少样本学习性能？
• RQ2 在FSL中，整合来自多种数据增强的增强嵌入（AEs）如何影响特征表示与模型泛化能力？
• RQ3 将基于原型的对比损失与查询中心损失结合，是否能带来优于单独使用任一损失的聚类与分类性能？
• RQ4 投影头与打乱策略在所提出的对比学习目标中对FSL的贡献是什么？
• RQ5 所提出的CPLAE框架在多样化的少样本学习基准与数据增强策略下是否均有效？

主要发现

• CPLAE在三个标准少样本学习基准（miniImageNet、tieredImageNet、CIFAR-FS）上实现了新的最先进性能。
• 所提出的对比原型学习（CPL）损失显著优于其他对比损失与自监督损失，如掩码预测预训练任务与无监督对比学习。
• 使用增强嵌入（AEs）可改善特征聚类与泛化能力，Umap可视化结果表明数据分布更清晰。
• 在对比损失中结合基于原型的锚点与投影头，可实现更优的类内紧凑性与类间可分性。
• 训练过程中对嵌入顺序进行打乱对有效对比学习至关重要，未使用打乱策略的模型性能较差。
• 可视化结果证实，增强嵌入空间实现了最清晰的聚类结构，证明了跨增强视图隐式对齐的有效性。