[论文解读] Learning a Universal Template for Few-shot Dataset Generalization

Eleni Triantafillou, Hugo Larochelle+2 more|arXiv (Cornell University)|May 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用 9

一句话总结

本文提出了一种用于少样本数据集泛化的通用模板框架，其中通过仅推断每个任务的少量参数，即可将共享模型结构适配到新数据集。通过使用特定任务的适配器网络来初始化这些参数，随后进行快速微调，该方法在Meta-Dataset基准测试中实现了最先进性能，相比先前方法在参数效率和可扩展性方面均有提升。

ABSTRACT

Few-shot dataset generalization is a challenging variant of the well-studied few-shot classification problem where a diverse training set of several datasets is given, for the purpose of training an adaptable model that can then learn classes from new datasets using only a few examples. To this end, we propose to utilize the diverse training set to construct a universal template: a partial model that can define a wide array of dataset-specialized models, by plugging in appropriate components. For each new few-shot classification problem, our approach therefore only requires inferring a small number of parameters to insert into the universal template. We design a separate network that produces an initialization of those parameters for each given task, and we then fine-tune its proposed initialization via a few steps of gradient descent. Our approach is more parameter-efficient, scalable and adaptable compared to previous methods, and achieves the state-of-the-art on the challenging Meta-Dataset benchmark.

研究动机与目标

• 解决在仅有少量标注样本的情况下，将少样本模型泛化到多样化、未见过的数据集的挑战。
• 设计一种参数高效的框架，可在无需完整微调的情况下适配到新数据集。
• 开发一种通用模型模板，通过即插即用组件支持多种数据集特定模型。
• 相比现有少样本学习方法，提升可扩展性和适应性。
• 在Meta-Dataset基准测试中，实现少样本数据集泛化任务的最先进性能。

提出的方法

• 该方法构建一个通用模板——一种部分模型架构，可通过插入特定任务的组件，为任意新数据集进行定制。
• 一个独立的神经网络为每个新任务生成将插入到通用模板中的少量参数的初始化。
• 随后，通过在新少样本数据集上进行几步梯度下降，对初始化参数进行微调。
• 该方法通过最小化每个任务的可学习参数数量，强调参数效率。
• 该框架在保持强泛化性能的同时，实现了对新数据集的快速适应。
• 通用模板在多样化数据集上进行训练，以支持广泛适用性。

实验结果

研究问题

• RQ1 一个单一的通用模型模板是否能通过极少的适应，在多样化少样本数据集上实现有效泛化？
• RQ2 仅通过少量学习参数，模型在新数据集上的适应效率如何？
• RQ3 所提出的方法是否在基准数据集上优于现有少样本泛化方法？
• RQ4 参数高效的适应策略在多大程度上提升了可扩展性和泛化能力？
• RQ5 是否能通过特定任务的适配器网络有效初始化并微调通用模板？

主要发现

• 所提方法在Meta-Dataset基准测试中，实现了少样本数据集泛化的最先进性能。
• 该方法通过仅需推断和微调少量任务特定参数，展现出卓越的参数效率。
• 使用专用适配器网络进行参数初始化，使模型能够快速且高效地适应新数据集。
• 由于通用模板的设计，该框架在多样化数据集上表现出强大的可扩展性和适应性。
• 在Meta-Dataset基准测试中，该方法在准确率和效率方面均优于先前方法。
• 结果证实，结合参数高效微调的通用模板能够有效实现少样本数据集泛化。