[论文解读] Adaptive Task Sampling for Meta-Learning

Chenghao Liu, Zhihao Wang+4 more|arXiv (Cornell University)|Jul 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 61被引用 5

一句话总结

本文提出了一种用于元学习的自适应任务采样方法，通过基于类对势能选择更具信息量、更具挑战性的类别对，利用贪心算法高效采样困难任务，从而在少样本分类中提升性能。该方法在多种主干网络和元学习算法上均表现出一致的性能提升，且训练开销几乎无增加。

ABSTRACT

Meta-learning methods have been extensively studied and applied in computer vision, especially for few-shot classification tasks. The key idea of meta-learning for few-shot classification is to mimic the few-shot situations faced at test time by randomly sampling classes in meta-training data to construct few-shot tasks for episodic training. While a rich line of work focuses solely on how to extract meta-knowledge across tasks, we exploit the complementary problem on how to generate informative tasks. We argue that the randomly sampled tasks could be sub-optimal and uninformative (e.g., the task of classifying "dog" from "laptop" is often trivial) to the meta-learner. In this paper, we propose an adaptive task sampling method to improve the generalization performance. Unlike instance based sampling, task based sampling is much more challenging due to the implicit definition of the task in each episode. Therefore, we accordingly propose a greedy class-pair based sampling method, which selects difficult tasks according to class-pair potentials. We evaluate our adaptive task sampling method on two few-shot classification benchmarks, and it achieves consistent improvements across different feature backbones, meta-learning algorithms and datasets.

研究动机与目标

• 为解决元学习中随机任务采样存在的局限性，后者常生成平凡或无信息量的任务。
• 通过利用类间内在关系构建更具挑战性和信息量的少样本任务，提升元学习器的泛化能力。
• 开发一种高效的采样策略，能够在不带来不可接受计算成本的前提下捕捉复杂的类间关系。
• 实现对不同元学习算法和特征主干网络的广泛适用性。

提出的方法

• 该方法通过类对势能定义任务难度，该势能量化了基于特征嵌入从一个类别区分另一个类别的难度。
• 基于这些势能，对所有可能的 K 类组合构建非贪心的任务采样分布。
• 引入一种贪心近似方法，以 O(K) 时间选择最具信息量的类对，同时保持与完整分布的等价性。
• 贪心方法迭代选择势能最高的类对，并动态更新势能以避免冗余。
• 该方法兼容任何基于任务的元学习框架，包括基于度量的方法（例如，原型网络）和基于优化的方法。
• 类对势能通过类原型之间的余弦相似度计算，并在训练过程中持续更新。

实验结果

研究问题

• RQ1 基于类对关系的自适应任务采样能否在泛化能力上超越随机采样？
• RQ2 当任务难度依赖于类间关系而非单个类别的难度时，如何有效建模任务难度？
• RQ3 能否通过一种高效的贪心采样策略近似最优任务分布，同时保持计算可行性？
• RQ4 自适应采样是否能在多种元学习算法和特征主干网络上实现一致的性能增益？

主要发现

• 所提出的贪心类对（gcp）采样方法在多个少样本基准测试中均实现了稳定的准确率提升，包括 CIFAR-FS 和 mini-ImageNet。
• 在使用原型网络的 CIFAR-FS 上，gcp 采样在不同 shot 设置下相较随机采样最高提升了 2.1% 的少样本准确率。
• 该方法的训练时间与随机采样相当，即使在高类别数设置（20-way-1-shot）下，最多仅增加 1.2 倍的开销。
• 可视化结果表明，gcp 采样倾向于选择视觉和语义上更相似的类别（如小型动物），这些类别更难区分，因此对元学习更具信息量。
• 类对势能矩阵显示，gcp 采样优先选择具有高相关权重的类对，表明这些困难组合具有更高的采样概率。
• 采用困难类策略计算类对势能始终取得最佳性能，优于随机或简单类采样策略。