[论文解读] Lessons learned from the NeurIPS 2021 MetaDL challenge: Backbone fine-tuning without episodic meta-learning dominates for few-shot learning image classification

Adrian El Baz, Ullah, Ihsan+18 more|arXiv (Cornell University)|Jun 15, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文分析了 NeurIPS 2021 MetaDL 挑战赛，揭示了在少样本图像分类任务中，无需采用元学习的元训练卷积主干网络微调方法（如 MAML）的表现优于传统元学习方法。冠军方法 MetaDelta++ 在全部五个隐藏测试数据集上均取得了超过 92% 的准确率，表明自监督预训练所获得的强大表征能力，使得在当前设置下图像分类任务不再需要采用元学习的元训练机制。

ABSTRACT

Although deep neural networks are capable of achieving performance superior to humans on various tasks, they are notorious for requiring large amounts of data and computing resources, restricting their success to domains where such resources are available. Metalearning methods can address this problem by transferring knowledge from related tasks, thus reducing the amount of data and computing resources needed to learn new tasks. We organize the MetaDL competition series, which provide opportunities for research groups all over the world to create and experimentally assess new meta-(deep)learning solutions for real problems. In this paper, authored collaboratively between the competition organizers and the top-ranked participants, we describe the design of the competition, the datasets, the best experimental results, as well as the top-ranked methods in the NeurIPS 2021 challenge, which attracted 15 active teams who made it to the final phase (by outperforming the baseline), making over 100 code submissions during the feedback phase. The solutions of the top participants have been open-sourced. The lessons learned include that learning good representations is essential for effective transfer learning.

研究动机与目标

• 对真实世界、实际应用场景中的少样本图像分类任务，基准化最先进的元学习技术。
• 评估基于 MAML 等的元学习方法是否在性能上优于预训练主干网络的标准微调方法。
• 开发一个包含 10 个多样化数据集的新型公开基准，涵盖医学、生态学、生物学和药理学领域。
• 通过开源竞赛中所有领先解决方案，推动开放科学。
• 通过识别当前元学习设置中的有效实践与局限性，为未来研究提供指导。

提出的方法

• 竞赛采用五分类、五样本的少样本学习设置，模型在元训练数据上进行训练，并在未见的元测试任务上进行评估。
• 参赛者可使用任意深度学习架构，大多数选择了卷积神经网络或视觉变换器。
• 表现最佳的方法 MetaDelta++ 使用标准随机梯度下降，在元训练数据上对预训练主干网络进行微调。
• 实验发现，使用类别嵌入的原型分类器在预训练特征上的表现优于线性分类器。
• 竞赛采用两阶段设置：第一阶段为两个月的反馈阶段，可立即获得在五个隐藏元数据集上的性能反馈；第二阶段为完全盲测的最终阶段，测试五个新数据集。
• 评分系统对各团队在单个数据集上表现不佳的情况施加惩罚，且惩罚力度随参赛人数增加而提高。

实验结果

研究问题

• RQ1 在少样本图像分类任务中，元学习方法（如 MAML）是否相比预训练主干网络的标准微调方法具有显著优势？
• RQ2 当应用于预训练主干网络的特征时，原型分类器相较于线性分类器的性能如何？
• RQ3 自监督预训练是否足以消除图像分类任务中对元学习的需求，尤其是在样本极少的情况下？
• RQ4 元学习方法在医学、生态学和药理学等多样化、真实世界领域中的稳定性与泛化能力如何？
• RQ5 未来涉及多模态和可变样本数/分类数设置的跨领域元学习挑战中，关键的设计考量因素是什么？

主要发现

• 冠军方法 MetaDelta++ 在最终盲测阶段的五个隐藏测试数据集上均取得了超过 92% 的准确率，展现出强大的泛化能力。
• 在所有领域和数据集中，不采用元学习的预训练主干网络微调方法均优于 MAML 类方法。
• 当应用于预训练主干网络的特征时，原型分类器的性能优于线性分类器。
• 结果表明，大规模数据上的自监督预训练可能已提供足够强大的表征能力，从而在图像分类任务中降低了对元学习的需求。
• 竞赛结果表明，元学习性能对数据集领域和分布高度敏感，不同领域间存在显著差异。
• 所有领先解决方案均基于预训练模型的微调，表明表示学习正逐渐成为少样本学习的主导范式。