[论文解读] On Episodes, Prototypical Networks, and Few-shot Learning

Steinar Laenen, Luca Bertinetto|arXiv (Cornell University)|Dec 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用 15

一句话总结

本文通过表明在非元训练（nonparametric）方法如原型网络（Prototypical）和匹配网络（Matching Networks）中，若去除元训练（episodic）训练方式，性能可显著提升，从而挑战了少样本学习中元训练的必要性。通过用邻域组件分析（Neighbourhood Component Analysis, NCA）替代元损失，作者在miniImageNet、CIFAR-FS和tieredImageNet上实现了最先进性能，且模型更简单、超参数更少。

ABSTRACT

Episodic learning is a popular practice among researchers and practitioners interested in few-shot learning. It consists of organising training in a series of learning problems (or episodes), each divided into a small training and validation subset to mimic the circumstances encountered during evaluation. But is this always necessary? In this paper, we investigate the usefulness of episodic learning in methods which use nonparametric approaches, such as nearest neighbours, at the level of the episode. For these methods, we not only show how the constraints imposed by episodic learning are not necessary, but that they in fact lead to a data-inefficient way of exploiting training batches. We conduct a wide range of ablative experiments with Matching and Prototypical Networks, two of the most popular methods that use nonparametric approaches at the level of the episode. Their "non-episodic" counterparts are considerably simpler, have less hyperparameters, and improve their performance in multiple few-shot classification datasets.

研究动机与目标

• 探究非参数少样本学习方法（如原型网络和匹配网络）中元训练是否真正必要。
• 识别元学习中支持集-查询集分离所导致的性能下降。
• 评估基于NCA的非元训练策略是否能在降低模型复杂度的同时超越元训练基线。
• 证明元学习导致训练批次的数据利用效率低下，因丢弃了宝贵的成对距离信息。
• 建立一个简单、有效的少样本学习基线，避免元学习和超参数密集的元训练设计。

提出的方法

• 将原型网络和匹配网络中的元训练替换为邻域组件分析（Neighbourhood Component Analysis, NCA），一种非元训练的度量学习目标。
• 使用标准交叉熵损失在完整批次上训练特征提取器，无需将批次划分为支持集和查询集。
• 利用NCA损失，基于批次中所有可用样本优化类别特定的中心点或最近邻决策。
• 在完整批次上端到端训练模型，使所有成对距离均参与损失计算，而元训练方法则丢弃大量距离。
• 在标准少样本基准（miniImageNet、CIFAR-FS和tieredImageNet）上评估所得非元训练模型。
• 与原始元训练版本及近期最先进方法进行对比，重点关注准确率和超参数敏感性。

实验结果

研究问题

• RQ1 在原型网络和匹配网络等非参数少样本学习方法中，元训练是否导致数据利用效率低下？
• RQ2 基于NCA的非元训练策略是否能在不引入额外复杂度的情况下超越元训练基线？
• RQ3 元训练中支持集-查询集划分在多大程度上减少了训练中使用的有效成对距离数量？
• RQ4 元训练模型对超参数（如类别数、少样本数和查询数）的敏感性如何？
• RQ5 更简单的非元训练基线是否能在标准少样本基准上实现具有竞争力的性能？

主要发现

• 基于NCA损失的非元训练在miniImageNet、CIFAR-FS和tieredImageNet上均优于元训练的原型网络和匹配网络。
• 性能提升源于利用了批次中的所有成对距离，而元训练会丢弃多达一半的潜在距离。
• 实证表明，元训练在本质上等同于随机丢弃大量训练样本，导致数据利用效率低下。
• 基于NCA的非元训练方法超参数更少，训练过程也更简单，相比元训练变体更具优势。
• 非元训练模型在无需元学习或推理时适应的情况下，仍能达到与最先进方法相当的准确率。
• 元训练策略引入了显著的超参数敏感性，而该问题在基于NCA的非元训练方法中被完全消除。