[论文解读] Generalized Adaptation for Few-Shot Learning

Liang Song, Jinlu Liu+1 more|arXiv (Cornell University)|Nov 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用 6

一句话总结

本文提出了一种名为广义微调（Generalized Adaptation）的新少样本学习框架，该框架利用闭式基础学习器在微调阶段提升泛化能力。通过理论证明该方法的有效性，并在四个基准测试上进行验证，其性能达到当前最先进水平，包括在5-shot miniImageNet上达到87.75%的准确率，较之前方法高出约10%。

ABSTRACT

Many Few-Shot Learning research works have two stages: pre-training base model and adapting to novel model. In this paper, we propose to use closed-form base learner, which constrains the adapting stage with pre-trained base model to get better generalized novel model. Following theoretical analysis proves its rationality as well as indication of how to train a well-generalized base model. We then conduct experiments on four benchmarks and achieve state-of-the-art performance in all cases. Notably, we achieve the accuracy of 87.75% on 5-shot miniImageNet which approximately outperforms existing methods by 10%.

研究动机与目标

• 通过重新思考预训练后的微调阶段，提升少样本学习中的泛化能力。
• 解决现有方法依赖迭代微调但缺乏强理论基础的局限性。
• 提出一种闭式基础学习器，在微调过程中施加约束，以增强模型泛化能力。
• 提供理论分析，以支持所提出微调机制的合理性。

提出的方法

• 该方法采用闭式基础学习器，直接计算微调权重，无需迭代优化。
• 通过预训练的基础模型约束微调过程，以确保特征学习的稳定性和泛化性。
• 利用理论分析推导出基础模型应如何训练，以实现最优泛化。
• 该方法被应用于四个标准少样本学习基准测试（包括miniImageNet），以验证其性能。

实验结果

研究问题

• RQ1 如何使少样本学习中的微调阶段更加高效且具备理论基础？
• RQ2 预训练的基础模型在实现新型模型泛化性能方面起到何种作用？
• RQ3 闭式微调机制是否能在少样本场景中超越迭代微调？
• RQ4 所提出方法如何在多种基准测试中保持一致的SOTA性能？

主要发现

• 所提方法在5-shot miniImageNet基准测试中达到87.75%的准确率，显著优于现有方法。
• 在5-shot miniImageNet设置下，相比之前SOTA方法，准确率提升约10%。
• 理论分析证实了闭式微调机制的合理性，并为训练具有良好泛化能力的基础模型提供了指导。
• 该方法在所有四个评估基准测试中均达到SOTA性能，展现出广泛的适用性。