[论文解读] Meta-learning approaches for few-shot learning: A survey of recent advances

Hassan Gharoun, Fereshteh Momenifar+2 more|arXiv (Cornell University)|Mar 13, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本综述对少样本学习中的元学习方法提供了全面且最新的回顾，将最先进方法分类为基于度量、基于记忆和基于学习的框架。它分析了这些方法的机制、基准测试与局限性，深入探讨了灾难性遗忘、域偏移和计算成本等挑战，并提出了构建更鲁棒、可泛化的少样本学习系统未来研究方向。

ABSTRACT

Despite its astounding success in learning deeper multi-dimensional data, the performance of deep learning declines on new unseen tasks mainly due to its focus on same-distribution prediction. Moreover, deep learning is notorious for poor generalization from few samples. Meta-learning is a promising approach that addresses these issues by adapting to new tasks with few-shot datasets. This survey first briefly introduces meta-learning and then investigates state-of-the-art meta-learning methods and recent advances in: (I) metric-based, (II) memory-based, (III), and learning-based methods. Finally, current challenges and insights for future researches are discussed.

研究动机与目标

• 提供少样本学习中元学习技术的系统性、最新综述，以应对该领域快速发展的现状。
• 澄清元学习、迁移学习与多任务学习之间的区别，这些概念在实践中常被混淆。
• 识别元学习中的关键挑战，包括灾难性遗忘、对数据分布偏移的敏感性以及高昂的计算成本。
• 提出未来研究方向，聚焦于多领域、多模态和跨领域少样本学习，以提升稳定性与泛化能力。
• 在Omniglot和miniImageNet等基准上评估领先方法的性能，突出其在现实应用中的局限性。

提出的方法

• 将元学习方法分为三大类：基于度量的方法（如原型网络）、基于记忆的方法（如记忆增强网络）和基于学习的方法（如MAML、Meta-OptNet）。
• 分析基于任务的训练范式，其中每个任务模拟一个新少样本学习任务，使用支持集和查询集来训练元学习器。
• 回顾架构组件，如嵌入主干网络（如CNN、ResNet）、度量学习方法（如余弦相似度）以及用于任务特定适应的记忆机制。
• 在Omniglot和miniImageNet等标准基准上评估性能，比较不同方法类型在准确率和鲁棒性方面的表现。
• 讨论减轻灾难性遗忘的技术，如经验回放和任务分组，并探索元学习器的对抗鲁棒性。
• 提出未来的方法改进方向，包括多领域和多模态元学习，以及使用更大或多尺度主干网络以提升表征学习能力。

Figure 1: Standard Machine learning and deep learning vs. meta-learning paradigm

实验结果

研究问题

• RQ1 基于度量、基于记忆和基于学习的元学习方法在架构、优化和少样本基准上的性能表现有何差异？
• RQ2 为何基于度量的模型（如原型网络）在Omniglot上表现良好，但在miniImageNet等复杂数据集上表现欠佳？
• RQ3 在基于任务的训练中，如何在保持基类和新类性能方面维持稳定，特别是针对灾难性遗忘问题？
• RQ4 如何将元学习扩展至多领域、跨领域和多模态设置，以提升现实世界中的泛化能力？
• RQ5 主干网络架构和表征学习对最先进元学习模型的性能与计算成本有何影响？

主要发现

• 基于度量的方法（如原型网络）在Omniglot上表现优异，但在分布偏移下表现较差，由于miniImageNet的复杂性更高，其准确率显著下降。
• 基于学习的方法（如MAML和Meta-OptNet）在标准基准上表现优异，但计算成本高昂，且对对抗样本敏感。
• 基于记忆的方法在缓解灾难性遗忘和提升泛化能力方面展现出潜力，尤其在与基于度量的方法结合时效果更佳。
• 当前元学习器对域偏移的鲁棒性较差，当基类和新类数据集的分布不一致时，性能显著下降。
• 使用更大主干网络（如ResNet）或多尺度网络可提升表征学习能力，但其对性能与计算成本的实际影响仍需进一步实证验证。
• 尽管已有进展，但尚无任一方法在多样化基准上始终优于其他方法，表明亟需更鲁棒、可泛化且高效的元学习框架。

Figure 2: Meta training and test set, Episodic training schema