[论文解读] Few-shot Learning: A Survey

Yaqing Wang, Quanming Yao|arXiv (Cornell University)|Jan 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 128被引用 109

一句话总结

本综述全面概述了少样本学习（Few-Shot Learning, FSL），正式定义了其问题设置，并识别出核心挑战，如元优化、表示学习和泛化。它将现有FSL方法整合为统一的分类体系，分析其优缺点，并提出在问题设定、技术方法、应用场景和理论基础方面的未来研究方向。

ABSTRACT

The quest of `can machines think' and `can machines do what human do' are quests that drive the development of artificial intelligence. Although recent artificial intelligence succeeds in many data intensive applications, it still lacks the ability of learning from limited exemplars and fast generalizing to new tasks. To tackle this problem, one has to turn to machine learning, which supports the scientific study of artificial intelligence. Particularly, a machine learning problem called Few-Shot Learning (FSL) targets at this case. It can rapidly generalize to new tasks of limited supervised experience by turning to prior knowledge, which mimics human's ability to acquire knowledge from few examples through generalization and analogy. It has been seen as a test-bed for real artificial intelligence, a way to reduce laborious data gathering and computationally costly training, and antidote for rare cases learning. With extensive works on emerging, we give a comprehensive survey for it. We first give the formal definition for FSL. Then we point out the core issues of FSL, which turns the problem from how to solve FSL to how to deal with the core issues. Accordingly, existing works from the birth of to the most recent published ones are categorized in a unified taxonomy, with thorough discussion of the pros and cons for different categories. Finally, we envision possible future directions for in terms of problem setup, techniques, applications and theory, hoping to provide insights to both beginners and experienced researchers.

研究动机与目标

• 将少样本学习（FSL）正式定义为一种机器学习问题，使模型能够仅用极少的标注样本即可快速泛化到新任务。
• 识别并构建FSL中的核心问题框架，将关注点从“解决FSL”转向解决元优化、表示学习等根本性挑战。
• 基于统一的分类体系，对从早期方法到最新进展的现有FSL方法进行系统分类，以支持系统性比较。
• 从性能、泛化能力和可扩展性等方面，批判性分析不同FSL方法类别之间的优缺点。
• 展望FSL的未来研究方向，涵盖改进的问题设定、新颖的技术方法、更广泛的应用场景以及更深入的理论基础。

提出的方法

• 提出少样本学习的正式定义，即模型通过利用先验知识，仅从极少的标注样本中学习新概念。
• 识别FSL中的核心问题，如元优化、表示学习和泛化，强调这些是问题本质而非孤立的解决方案。
• 构建统一的分类体系，基于其底层机制对FSL方法进行分类，包括基于度量、模型无关、基于优化和元学习等方法。
• 通过评估其优势（如快速适应）和劣势（如对数据的依赖性、可扩展性问题），分析各类方法的特性。
• 回顾FSL技术从经典方法到现代深度学习方法的演进，强调架构与训练策略的创新。
• 整合各类方法的洞察，揭示其共性与差异，为未来的方法设计提供支持。

实验结果

研究问题

• RQ1 少样本学习作为机器学习问题，其正式特征和关键组成部分是什么？
• RQ2 除了模型准确率外，哪些核心挑战定义了少样本学习的难度？
• RQ3 如何利用统一的分类体系对现有FSL方法进行系统性分类与比较？
• RQ4 在泛化能力和效率方面，不同FSL方法族的相对优势与局限性是什么？
• RQ5 在问题设定、技术方法、应用场景和理论基础方面，FSL最具前景的未来研究方向是什么？

主要发现

• 少样本学习被正式定义为一种学习范式，通过利用先验知识，仅用极少的标注数据即可实现对新任务的快速适应。
• FSL中的核心挑战——如元优化、表示学习和泛化——必须得到解决，才能实现稳健的性能表现。
• 统一的FSL方法分类体系有助于更清晰地理解并比较不同方法，包括基于度量、模型无关和基于优化的方法。
• 各类方法表现出不同的优势与劣势：例如，基于度量的方法在少样本泛化方面表现优异，但可能在分布偏移下表现不佳。
• 本综述指出了理论理解方面的缺口，并呼吁对FSL泛化能力及泛化界进行更严谨的分析。
• 未来研究应聚焦于可扩展、数据高效且理论基础扎实的FSL框架，以适用于现实世界中的罕见事件和低数据场景。