[论文解读] Meta-Learning with Fewer Tasks through Task Interpolation

Huaxiu Yao, Linjun Zhang+1 more|arXiv (Cornell University)|Jun 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 44被引用 11

一句话总结

该论文提出元学习任务插值（MLTI），一种通过在现有任务对之间插值特征和标签来生成合成任务的方法，以在元训练任务数量有限的情况下提升元学习的泛化能力。MLTI在八个不同数据集上均表现更优，无论在基于梯度还是基于度量的元学习设置中，均持续优于当前最先进方法，在少样本学习场景下准确率提升最高达3.5%。

ABSTRACT

Meta-learning enables algorithms to quickly learn a newly encountered task with just a few labeled examples by transferring previously learned knowledge. However, the bottleneck of current meta-learning algorithms is the requirement of a large number of meta-training tasks, which may not be accessible in real-world scenarios. To address the challenge that available tasks may not densely sample the space of tasks, we propose to augment the task set through interpolation. By meta-learning with task interpolation (MLTI), our approach effectively generates additional tasks by randomly sampling a pair of tasks and interpolating the corresponding features and labels. Under both gradient-based and metric-based meta-learning settings, our theoretical analysis shows MLTI corresponds to a data-adaptive meta-regularization and further improves the generalization. Empirically, in our experiments on eight datasets from diverse domains including image recognition, pose prediction, molecule property prediction, and medical image classification, we find that the proposed general MLTI framework is compatible with representative meta-learning algorithms and consistently outperforms other state-of-the-art strategies.

研究动机与目标

• 解决现实应用中元训练任务有限的挑战，例如医学影像领域，受数据隐私和可及性限制，任务多样性受限。
• 克服元学习器因元训练任务覆盖不足而对稀疏任务产生记忆化、泛化失败的问题。
• 开发一种任务级别的增强策略，通过不修改模型架构且仅依赖现有任务（无需额外数据）来密化任务分布。
• 通过仅在任务层面操作，确保与现有元学习算法和正则化技术的兼容性。
• 证明任务插值可提供一种数据自适应的正则化效应，从而提升元泛化能力。

提出的方法

• 通过在随机采样的现有元训练任务对之间线性插值特征和标签，生成新的元训练任务。
• 实现两种变体：标签共享（LS）用于具有相同类别集合的任务（如RainbowMNIST），以及非标签共享（NLS）用于类别集合不相交的任务（如miniImageNet）。
• 在LS中，同时插值特征和标签；在NLS中，从两个不同任务中采样类别的特征，组合形成新类别。
• 仅在元训练阶段应用插值，元测试阶段保留原始任务分布。
• 可与任意元学习算法（如MAML、ProtoNets）集成，并可结合现有正则化技术。
• 理论分析表明，MLTI作为一种数据自适应的元正则化方法，可减少过拟合并提升泛化性能。

实验结果

研究问题

• RQ1 当可用任务数量有限时，通过在现有元训练任务之间进行插值，能否提升元泛化能力？
• RQ2 MLTI是否比现有在单个任务内增强数据的方法提供更有效的正则化？
• RQ3 MLTI在图像识别、姿态预测和医学图像分类等多样化领域中的表现如何？
• RQ4 MLTI能否有效结合基于梯度和基于度量的元学习框架？
• RQ5 任务插值是否在元学习中产生理论上可解释的正则化效应？

主要发现

• MLTI在包括miniImageNet、ISIC、DermNet和Huffpost在内的八个真实世界数据集上，持续优于六种最先进元学习正则化方法。
• 在miniImageNet-S的1-shot学习设置下，MLTI将MAML的准确率从基线的38.27%提升至41.58%，绝对提升3.31%。
• 在相同数据集的5-shot学习中，MLTI使用MAML达到55.22%的准确率，较基线提升3.08%。
• 在跨域适应（miniImageNet → DermNet）场景下，MLTI将1-shot准确率从33.67%提升至36.74%（MAML），表明域迁移能力增强。
• 使用ProtoNets时，MLTI在5-shot miniImageNet-S上达到55.34%的准确率，较基线提升5.02%。
• MLTI在所有评估的主干网络和数据集上均表现出一致的性能增益，包括NLP（Huffpost）和表格数据（Tabular Murris），证实其广泛兼容性与有效性。