[论文解读] Few-Shot Learning with a Strong Teacher

Han-Jia Ye, Lü Ming+2 more|arXiv (Cornell University)|Jul 1, 2021

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 LastShot，一种即插即用的方法，通过在元训练过程中利用在大量数据上训练的强教师分类器提供额外监督，从而提升少样本学习性能。通过蒸馏强教师的知识，少样本学习器在所有样本设置下均实现一致的性能提升，即使在多张样本设置下也优于元学习和非元学习基线方法。

ABSTRACT

Few-shot learning (FSL) aims to generate a classifier using limited labeled examples. Many existing works take the meta-learning approach, constructing a few-shot learner that can learn from few-shot examples to generate a classifier. Typically, the few-shot learner is constructed or meta-trained by sampling multiple few-shot tasks in turn and optimizing the few-shot learner's performance in generating classifiers for those tasks. The performance is measured by how well the resulting classifiers classify the test (i.e., query) examples of those tasks. In this paper, we point out two potential weaknesses of this approach. First, the sampled query examples may not provide sufficient supervision for meta-training the few-shot learner. Second, the effectiveness of meta-learning diminishes sharply with the increasing number of shots. To resolve these issues, we propose a novel meta-training objective for the few-shot learner, which is to encourage the few-shot learner to generate classifiers that perform like strong classifiers. Concretely, we associate each sampled few-shot task with a strong classifier, which is trained with ample labeled examples. The strong classifiers can be seen as the target classifiers that we hope the few-shot learner to generate given few-shot examples, and we use the strong classifiers to supervise the few-shot learner. We present an efficient way to construct the strong classifier, making our proposed objective an easily plug-and-play term to existing meta-learning based FSL methods. We validate our approach, LastShot, in combinations with many representative meta-learning methods. On several benchmark datasets, our approach leads to a notable improvement across a variety of tasks. More importantly, with our approach, meta-learning based FSL methods can outperform non-meta-learning based methods at different numbers of shots.

研究动机与目标

• 解决基于元学习的少样本学习中仅依赖查询集监督的低效问题，尤其是在查询集较小时。
• 克服元学习在样本数增加时效果逐渐减弱的问题。
• 通过在元训练期间引入强分类器监督，提升少样本学习器的泛化能力。
• 开发一种实用且即插即用的方法，兼容现有元学习框架，以提升各类样本设置下的性能。

提出的方法

• 对于从基础类别中采样的每个少样本任务，使用同一基础类别的所有可用标注样本训练一个强分类器。
• 在元训练期间，使用强分类器作为目标，监督少样本学习器对查询样本的预测。
• 应用加权平方损失，利用强分类器输出的 Softmax 归一化置信度分数，优先关注教师分类器表现良好的查询样本。
• 将 LastShot 损失作为插件项无缝集成到现有元学习方法中，无需修改网络架构。
• 通过在完整基础类别数据上进行标准训练，高效构建强分类器，实现便捷部署。
• 借鉴知识蒸馏原理，使少样本学习器的预测与强教师输出对齐，从而提升泛化能力。

实验结果

研究问题

• RQ1 在大量数据上训练的强分类器提供的额外监督，能否提升少样本学习中的元学习性能？
• RQ2 在高样本设置下，引入强教师信号是否能缓解元学习性能下降的问题？
• RQ3 所提出的方法能否作为即插即用组件，有效且高效地集成到多种元学习框架中？
• RQ4 在不同样本数量下，增强强教师监督后，基于元学习的方法与非元学习方法的性能相比如何？
• RQ5 使用强教师是否能同时提升低样本和高样本少样本学习任务的泛化能力？

主要发现

• LastShot 显著提升了所有元学习基线方法在 mini-ImageNet 和 tiered-ImageNet 上的性能，包括 ProtoNet、MAML、MetaOptNet 和 FEAT。
• 在 5 类 5 样本设置下，与基线相比，LastShot 使 ProtoNet 的准确率提升超过 5%，回归任务中的平均误差降低 7.5%。
• 在 50 样本回归任务中，LastShot 使 ProtoNet 的 MSE 降低 1.2%，MetaOptNet 降低 1.0%，表明在高样本设置下仍保持一致的性能增益。
• LastShot 使元学习方法在所有样本数量下（包括 50 样本设置）均优于非元学习基线方法 PT-EMB。
• 可视化结果表明，LastShot 在回归任务中能生成更准确、更可靠的曲线预测，尤其在仅 5 个样本时，此时存在多种合理解，优势更为明显。
• 该方法在多种少样本设置下保持鲁棒性和泛化能力，表明元学习在传统少样本范式之外也具有有效性。