[论文解读] Is Support Set Diversity Necessary for Meta-Learning?

Amrith Setlur, Oscar Li+1 more|arXiv (Cornell University)|Nov 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用 8

一句话总结

本文提出在元学习任务中固定支持集以减少支持集多样性，证明这一简单修改在多个数据集和模型上均能一致提升少样本学习性能。令人惊讶的是，限制任务多样性反而提升了泛化能力，挑战了传统观点认为多样化任务能提升元学习性能的共识。

ABSTRACT

Meta-learning is a popular framework for learning with limited data in which an algorithm is produced by training over multiple few-shot learning tasks. For classification problems, these tasks are typically constructed by sampling a small number of support and query examples from a subset of the classes. While conventional wisdom is that task diversity should improve the performance of meta-learning, in this work we find evidence to the contrary: we propose a modification to traditional meta-learning approaches in which we keep the support sets fixed across tasks, thus reducing task diversity. Surprisingly, we find that not only does this modification not result in adverse effects, it almost always improves the performance for a variety of datasets and meta-learning methods. We also provide several initial analyses to understand this phenomenon. Our work serves to: (i) more closely investigate the effect of support set construction for the problem of meta-learning, and (ii) suggest a simple, general, and competitive baseline for few-shot learning.

研究动机与目标

• 探究在少样本分类中，支持集多样性是否为有效元学习所必需。
• 挑战传统观点，即多样化任务能提升元学习性能。
• 提出并评估一种限制元学习任务间支持集变化的改进元学习目标。
• 提供一种简单、高效且可泛化的少样本学习基线，其性能优于标准元学习方法。
• 分析使用固定支持集与多样化支持集训练的模型在优化与泛化行为上的差异。

提出的方法

• 重新表述元学习目标，使元训练期间所有任务均使用相同的支持集，从而降低任务多样性。
• 将固定支持集目标应用于多种元学习方法，包括原型网络（Protonet）和最后一层方法。
• 使用课程式元学习训练模型，但各课程中的支持集保持一致，保留课程结构的同时约束支持集的变化。
• 在miniImageNet、CIFAR-FS和FC100数据集上，比较使用固定支持集（fix-ml）和标准元学习（ml）训练的模型的泛化性能。
• 通过损失景观可视化和曲率度量（如Fisher信息矩阵的迹）分析训练动态与泛化差距。
• 使用比率 $\frac{\mathrm{tr}(\bm{C})}{\mathrm{tr}(\bm{F})}$ 作为Takeuchi信息准则的代理指标，评估泛化差距的差异。

实验结果

研究问题

• RQ1 在元学习任务中减少支持集多样性，是否会导致模型泛化性能下降或提升？
• RQ2 在任务间使用固定支持集，是否能带来优于标准元学习（支持集多样化）的少样本分类准确率？
• RQ3 导致固定支持集带来性能提升的潜在优化与泛化动态机制是什么？
• RQ4 与多样化支持集相比，使用固定支持集训练的模型在损失景观与解的尖锐性方面有何不同？
• RQ5 所观察到的性能提升是源于更优的优化、更平坦的极小值，还是其他结构特性？

主要发现

• 在miniImageNet、CIFAR-FS和FC100等多个元学习方法上，固定任务间支持集能一致提升少样本分类准确率。
• 尽管在某些情况下训练损失更高，但fix-ml方法训练的模型相比标准元学习具有更小的泛化差距。
• 在fix-ml与标准元学习模型之间进行线性插值显示，fix-ml解位于更尖锐的极小值区域，与平坦性-泛化直觉相悖。
• 比率 $\frac{\mathrm{tr}(\bm{C})}{\mathrm{tr}(\bm{F})}$ 与泛化差距相关，且fix-ml模型表现出更低的值，提示其可能与泛化性能提升存在关联。
• 固定支持集带来的性能提升在不同架构（如ResNet-12、原型网络）和数据集上均表现稳健，表明其具有广泛适用性。
• 该现象无法用标准平坦度或曲率度量解释，表明可能存在其他归纳偏置或优化动力学机制在起作用。