[论文解读] Fast and Generalized Adaptation for Few-Shot Learning

Liang Song, Jinlu Liu+1 more|arXiv (Cornell University)|Nov 25, 2019

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

该论文提出了一种快速、闭式解的少样本学习微调方法，通过使用预训练的基础模型约束微调阶段来提升泛化能力。理论分析支持其设计，四组基准测试实验表明其性能达到最先进水平，在5-shot miniImageNet上达到87.75%的准确率，较之前方法高出约10%。

ABSTRACT

Many Few-Shot Learning research works have two stages: pre-training base model and adapting to novel model. In this paper, we propose to use closed-form base learner, which constrains the adapting stage with pre-trained base model to get better generalized novel model. Following theoretical analysis proves its rationality as well as indication of how to train a well-generalized base model. We then conduct experiments on four benchmarks and achieve state-of-the-art performance in all cases. Notably, we achieve the accuracy of 87.75% on 5-shot miniImageNet which approximately outperforms existing methods by 10%.

研究动机与目标

• 解决现有少样本学习方法依赖微调或元学习但缺乏强理论基础以支持泛化的问题。
• 通过使用预训练的基础模型约束微调阶段，提升模型在微调阶段的泛化能力。
• 提供一种理论上有依据的方法，用于训练具有良好泛化能力的基础模型，以支持高效的少样本微调。
• 在无需复杂微调过程的前提下，实现在多个少样本学习基准上的最先进性能。

提出的方法

• 提出一种闭式解基础学习器，可直接计算微调权重，无需迭代优化，从而实现快速推理。
• 通过理论分析推导出微调过程在新类别上具有良好泛化能力的条件。
• 利用预训练的基础模型约束微调阶段，确保学习到的表征在少样本任务中具有良好的泛化能力。
• 采用统一的优化框架，通过闭式解将预训练与微调过程联系起来，减少在少样本支持集上的过拟合。
• 基于对微调动态特性的理论洞察，设计基础模型的训练目标以促进泛化。
• 在包括miniImageNet在内的四个基准上应用该方法，均取得一致的性能提升。

实验结果

研究问题

• RQ1 如何设计一种快速且理论上有依据的少样本学习微调方法，以提升泛化能力？
• RQ2 对微调过程施加何种约束，可使模型在新类别上实现更好的泛化？
• RQ3 在少样本场景下，闭式解方案是否能优于迭代微调或元学习方法？
• RQ4 基础模型训练目标的选择如何影响微调阶段的泛化能力？
• RQ5 一种理论上有依据的微调方法在多样化的少样本基准上，能在多大程度上实现最先进性能？

主要发现

• 所提出的闭式解微调方法在5-shot miniImageNet基准上达到87.75%的准确率，显著优于现有方法。
• 该方法在5-shot miniImageNet上的性能较之前最先进方法高出约10%。
• 理论分析证实了闭式解微调方法的合理性，并为训练具有良好泛化能力的基础模型提供了指导。
• 该方法在所有四个评估基准上均实现最先进性能，展现出广泛的适用性。
• 闭式解方案无需迭代优化即可实现快速推理，适用于实际部署。
• 实验结果验证了：通过使用预训练基础模型约束微调过程，可显著提升在新类别上的泛化能力。