[论文解读] Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning

Yinbo Chen, Zhuang Liu+3 more|arXiv (Cornell University)|Mar 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 28被引用 28

一句话总结

本文提出 Meta-Baseline，一种简单但高效的 few-shot 学习方法，通过在评估指标（余弦最近中心）上使用元学习微调整个分类预训练模型。尽管方法简单，Meta-Baseline 在标准基准上实现了最先进性能，揭示了基础类别与新类别泛化之间的权衡，挑战了元学习优于标准分类的假设。

ABSTRACT

Meta-learning has been the most common framework for few-shot learning in recent years. It learns the model from collections of few-shot classification tasks, which is believed to have a key advantage of making the training objective consistent with the testing objective. However, some recent works report that by training for whole-classification, i.e. classification on the whole label-set, it can get comparable or even better embedding than many meta-learning algorithms. The edge between these two lines of works has yet been underexplored, and the effectiveness of meta-learning in few-shot learning remains unclear. In this paper, we explore a simple process: meta-learning over a whole-classification pre-trained model on its evaluation metric. We observe this simple method achieves competitive performance to state-of-the-art methods on standard benchmarks. Our further analysis shed some light on understanding the trade-offs between the meta-learning objective and the whole-classification objective in few-shot learning.

研究动机与目标

• 探究元学习在 few-shot 学习中与简单整体分类训练相比是否依然有效。
• 理解元学习与整体分类目标之间的差异，特别是针对新类别与基础类别的泛化能力。
• 评估元学习是否能改进强的整个分类基线模型，以及在何种条件下有效。
• 分析类别可迁移性与数据集相似性在决定元学习与标准分类有效性方面的作用。

提出的方法

• 使用标准交叉熵损失在所有基础类别上训练分类器，然后移除最后的全连接层，以获得特征编码器。
• 将所得编码器用作特征提取器，并在推理时通过支持样本的平均池化计算类别中心。
• 使用元学习在余弦最近中心度量上微调编码器，以优化在 N 类 K 样本任务上的 few-shot 分类性能。
• 将泛化能力解耦为两种设置：基础类别泛化（在未见过的基础类别任务上）和新类别泛化（在新类别任务上）。
• 在 Meta-Dataset 上采用多数据集训练设置，其中分类器使用 50% ILSVRC-2012 和 50% 其他数据集进行训练，以模拟真实世界中的分布偏移。
• 使用标准 few-shot 基准评估性能，测试不同类别数和样本数，将 Meta-Baseline 与 Classifier-Baseline 及最先进方法进行比较。

实验结果

研究问题

• RQ1 当应用于强的整个分类预训练模型时，元学习是否仍能提升性能？
• RQ2 元学习框架中是否存在基础类别泛化与新类别泛化之间的权衡？
• RQ3 为何某些整体分类模型在 few-shot 学习中表现优于复杂的元学习算法？
• RQ4 数据集相关性与相似性如何影响元学习与整体分类的相对性能？
• RQ5 仅对预训练分类器进行简单的元学习微调步骤，是否能在无需架构复杂性的情况下实现最先进结果？

主要发现

• Meta-Baseline 在标准 few-shot 基准（包括 mini-ImageNet 和 Meta-Dataset）上实现了与最先进方法相当的性能。
• Meta-Baseline 在 Meta-Dataset 的大多数数据集上优于 Classifier-Baseline 基线，尤其在与 ILSVRC-2012 相关性较低的数据集上表现更优。
• 元学习在提升基础类别泛化能力的同时，导致新类别泛化能力下降，表明两者之间存在权衡。
• 从零开始训练 Meta-Baseline 会带来更高的基础类别泛化能力，但新类别泛化能力显著降低，表明预训练对可迁移性至关重要。
• Meta-Baseline 的主要优势在于继承了整个分类预训练阶段的强类别可迁移性。
• 元学习带来的性能增益在与基础训练分布相似度较低的数据集上最为显著，表明元学习有助于缓解分布偏移问题。