[论文解读] A Closer Look at Few-shot Classification

Wei-Yu Chen, Yen‐Cheng Liu+3 more|arXiv (Cornell University)|Apr 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 31被引用 188

一句话总结

本文提供了对代表性少样本分类方法的统一、公开公平比较，表明更深的主干网络能够缩小方法差距，存在一个强大的 Baseline++ 基线，并且跨域评估揭示了当前元学习方法的局限性。

ABSTRACT

Few-shot classification aims to learn a classifier to recognize unseen classes during training with limited labeled examples. While significant progress has been made, the growing complexity of network designs, meta-learning algorithms, and differences in implementation details make a fair comparison difficult. In this paper, we present 1) a consistent comparative analysis of several representative few-shot classification algorithms, with results showing that deeper backbones significantly reduce the performance differences among methods on datasets with limited domain differences, 2) a modified baseline method that surprisingly achieves competitive performance when compared with the state-of-the-art on both the \miniI and the CUB datasets, and 3) a new experimental setting for evaluating the cross-domain generalization ability for few-shot classification algorithms. Our results reveal that reducing intra-class variation is an important factor when the feature backbone is shallow, but not as critical when using deeper backbones. In a realistic cross-domain evaluation setting, we show that a baseline method with a standard fine-tuning practice compares favorably against other state-of-the-art few-shot learning algorithms.

研究动机与目标

• 提供一个统一、公平的少样本分类方法基准。
• 评估主干深度如何影响方法之间的性能差异。
• 评估简单基线在标准和跨域设置下是否能与最先进的元学习方法相匹配。
• 探索跨域泛化和领域转移对少样本学习的影响。

提出的方法

• 将 Baseline 与 Baseline++ 作为简单的迁移学习基线，固定特征提取器、可训练的新类分类器。
• 采用基于余弦距离的分类器（Baseline++）以降低类内变异。
• 在标准化设置下，与代表性的元学习方法（MatchingNet、ProtoNet、RelationNet、MAML）进行比较。
• 在数据集（mini-ImageNet、CUB）及 1-shot/5-shot 情况下评估性能。
• 引入跨域设置：mini-ImageNet 到 CUB，以研究领域转移效应。
• 提供可公开获取的源代码以实现可重复比较。

实验结果

研究问题

• RQ1 当在统一的主干和训练设定下评估时，不同的少样本分类方法的表现如何？
• RQ2 更深的主干是否能缩小方法之间的性能差距？
• RQ3 简单的距离基 Baseline++ 方法能否在标准基准上与元学习方法相匹配？
• RQ4 基底类与新颖类之间的领域转移如何影响少样本学习的表现？
• RQ5 在跨域条件下，额外的适应步骤对元学习方法有何影响？

主要发现

Method	1-shot (CUB)	5-shot (CUB)	1-shot (mini-ImageNet)	5-shot (mini-ImageNet)
Baseline	47.12 ±0.74	64.16 ±0.71	42.11 ±0.71	62.53 ±0.69
Baseline++	60.53 ±0.83	79.34 ±0.61	48.24 ±0.75	66.43 ±0.63
MatchingNet	60.52 ±0.88	75.29 ±0.75	48.14 ±0.78	63.48 ±0.66
ProtoNet	50.46 ±0.88	76.39 ±0.64	44.42 ±0.84	64.24 ±0.72
MAML	54.73 ±0.97	75.75 ±0.76	46.47 ±0.82	62.71 ±0.71
RelationNet	62.34 ±0.94	77.84 ±0.68	49.31 ±0.85	66.60 ±0.69

• Baseline++ 基于距离的分类器在 Conv-4 主干下持续提升 Baseline，并能与最先进的元学习方法在 mini-ImageNet 与 CUB 上竞争。
• 更深的主干显著缩小方法之间的性能差距，特别是在 CUB 数据集上，甚至能使 Baseline 或 Baseline++ 与元学习者相竞争。
• 在跨域评估（mini-ImageNet → CUB）下，Baseline 优于所有元学习方法，凸显当前元学习在领域转移情景中的局限性。
• 当领域差异较大时，增加主干深度通常有利于 ProtoNet 等方法，但结果因数据集和 shot 设置而异。
• 进一步的适应（微调）在跨域设置下对某些元学习方法有更大提升，特别是 MatchingNet 和 MAML，相比 ProtoNet。