[论文解读] Learning from Few Examples: A Summary of Approaches to Few-Shot Learning

Archit Parnami, Minwoo Lee|arXiv (Cornell University)|Mar 7, 2022

Domain Adaptation and Few-Shot Learning被引用 139

一句话总结

本综述回顾元学习与非元学习在小样本学习中的方法，将方法分为基于度量、基于优化、基于模型三大范式，并讨论混合方法与进展。

ABSTRACT

Few-Shot Learning refers to the problem of learning the underlying pattern in the data just from a few training samples. Requiring a large number of data samples, many deep learning solutions suffer from data hunger and extensively high computation time and resources. Furthermore, data is often not available due to not only the nature of the problem or privacy concerns but also the cost of data preparation. Data collection, preprocessing, and labeling are strenuous human tasks. Therefore, few-shot learning that could drastically reduce the turnaround time of building machine learning applications emerges as a low-cost solution. This survey paper comprises a representative list of recently proposed few-shot learning algorithms. Given the learning dynamics and characteristics, the approaches to few-shot learning problems are discussed in the perspectives of meta-learning, transfer learning, and hybrid approaches (i.e., different variations of the few-shot learning problem).

研究动机与目标

• 激发并界定小样学习问题及其实际意义。
• 综述并从元学习、迁移学习与混合视角对近年的小样学习方法进行分类。
• 总结小数据学习的主要方法家族与关键设计选择。
• 突出领域中的数据集、进展及尚待解决的挑战。

提出的方法

• 将小样学习分为基于元学习和非基于元学习的方法。
• 在元学习内部，区分基于度量、基于优化、基于模型的方法，以及混合方法。
• 详细介绍具有代表性的算法（如 Siamese/Matching/Prototypical/Relation networks；MAML, LEO, Proto-MAML）及其训练范式。
• 将情节训练（episodic training）和任务分布描述为元学习的核心组成部分。
• 讨论任务自适应和基于注意力的增强，以提高嵌入的判别性。

实验结果

研究问题

• RQ1 小样本分类的主要元学习范式有哪些，它们在建模 P(y|x) 方面有何差异？
• RQ2 基于度量、基于优化和基于模型的方法如何应对少量样本学习的挑战？
• RQ3 哪些关键的混合策略与扩展（混合/跨域小样本学习、广义 FSL）能提升性能？
• RQ4 哪些数据集与基准测试推动了小样本学习的进展，观察到哪些进展趋势？
• RQ5 在真实场景部署的小样本学习中，仍存在哪些开放挑战？

主要发现

• 元学习仍是小样本学习的主导范式，主要分为三大分支：基于度量、基于优化、基于模型的方法。
• 基于度量的方法使用嵌入函数和距离度量，能够在 M-way K-shot 任务上进行情节训练。
• 基于优化的方法学习如何跨任务优化学习者，通常通过外环/内环元训练（如 MAML、LSTM 元学习者）。
• 基于模型的方法利用外部记忆或快速适应机制来支持小样本推断。
• 混合方法将多种思路结合在一起（如跨任务条件化、任务自适应表示）以提升性能。
• 该综述汇总了用于评估的常见数据集（Omniglot, miniImageNet, FC100, tieredImageNet）及基准测试。