[论文解读] Embedding Adaptation is Still Needed for Few-Shot Learning

Sébastien M. R. Arnold, Fei Sha|arXiv (Cornell University)|Apr 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 67被引用 5

一句话总结

本文提出自动任务集生成（ATG），一种基于聚类的方法，可在无需人工标注语义关系的情况下，创建具有可控迁移难度的少样本学习基准。ATG 实现了对少样本方法的系统性评估，揭示出在高迁移难度下，基于梯度的方法（如微调）优于基于度量的方法，挑战了此前认为后者更优越的假设。

ABSTRACT

Constructing new and more challenging tasksets is a fruitful methodology to analyse and understand few-shot classification methods. Unfortunately, existing approaches to building those tasksets are somewhat unsatisfactory: they either assume train and test task distributions to be identical -- which leads to overly optimistic evaluations -- or take a "worst-case" philosophy -- which typically requires additional human labor such as obtaining semantic class relationships. We propose ATG, a principled clustering method to defining train and test tasksets without additional human knowledge. ATG models train and test task distributions while requiring them to share a predefined amount of information. We empirically demonstrate the effectiveness of ATG in generating tasksets that are easier, in-between, or harder than existing benchmarks, including those that rely on semantic information. Finally, we leverage our generated tasksets to shed a new light on few-shot classification: gradient-based methods -- previously believed to underperform -- can outperform metric-based ones when transfer is most challenging.

研究动机与目标

• 为解决现有少样本基准的局限性：即要么假设训练/测试任务分布相同（导致结果过于乐观），要么需要昂贵的人工标注语义关系。
• 开发一种方法，可在不依赖外部知识的情况下，对训练与测试任务之间的迁移难度实现细粒度控制。
• 通过实证评估梯度-based 与基于度量的少样本学习方法在不同迁移难度范围内的性能表现。
• 通过展示基于梯度的方法在高迁移难度下表现出色，挑战当前认为基于度量的方法更优越的普遍信念。

提出的方法

• ATG 使用带惩罚项的聚类目标，将类别嵌入划分为训练和测试任务集，同时强制设定两者之间的预定义相似度。
• 类别嵌入通过使用预训练主干网络对每个类别的所有图像特征表示取平均计算得出。
• 该方法通过优化一个平衡聚类紧凑性与分布间相似性的聚类目标，建模训练与测试任务的联合分布。
• 通过调整聚类目标中的惩罚项，ATG 可生成在迁移难度上为简单、中等或困难的任务集。
• 该方法完全自动化，无需人工结构化的语义关系或额外标注。
• ATG 被应用于 CIFAR-100、mini-ImageNet 等标准数据集，生成了五个具有不同迁移难度程度的新任务集。

实验结果

研究问题

• RQ1 我们能否在不依赖人工标注语义关系的情况下，生成具有可控迁移难度的少样本学习基准？
• RQ2 梯度-based 与基于度量的少样本学习方法在不同迁移难度范围内的表现如何？
• RQ3 当迁移最为困难时，少样本学习方法的性能排名是否发生变化？
• RQ4 自动任务集生成能否揭示出基于梯度的方法在少样本学习中此前被忽视的强项？
• RQ5 在所有迁移难度范围内，基于度量的方法在少样本学习中更优越的假设是否成立？

主要发现

• 当迁移最为困难时，基于梯度的方法（如微调和 MAML）显著优于基于度量的方法（如 ProtoNet 和 ANIL），在高难度下的 EMNIST 上达到 93.51% 的准确率。
• 在高迁移难度下，微调在 CIFAR-100 上达到 70.98% 的准确率，在 tiered-ImageNet 上达到 83.57%，比 ProtoNet 高出 10 个百分点以上。
• 结果挑战了当前认为共享固定特征提取器足以实现少样本学习的普遍信念，表明当迁移困难时，嵌入函数的适应至关重要。
• ATG 有效生成了具有不同难度程度的任务集，包括比现有基准更难的任务集，且无需语义标注。
• 该方法能够创建更真实、更多样化的基准，揭示出模型性能对训练与测试任务分布相似性的高度敏感性。
• 在最具挑战性的场景下，即训练与测试任务之间完全无信息共享时，对嵌入函数进行基于梯度的适应成为实现高性能的关键。