[论文解读] Cross-Domain Few-Shot Learning with Meta Fine-Tuning

John Cai, Quan Z. Sheng|arXiv (Cornell University)|May 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 9被引用 19

一句话总结

本文提出 Meta Fine-Tuning，一种基于一阶 MAML 的元学习框架，通过优化初始权重使模型在少样本、跨域任务上能有效进行后续微调。结合图神经网络与数据增强后，该方法在 CVPR 2020 跨域少样本学习基准上实现了 73.78% 的平均准确率，比仅在 miniImageNet 上训练的先前最先进方法高出 6.51%。

ABSTRACT

In this paper, we tackle the new Cross-Domain Few-Shot Learning benchmark proposed by the CVPR 2020 Challenge. To this end, we build upon state-of-the-art methods in domain adaptation and few-shot learning to create a system that can be trained to perform both tasks. Inspired by the need to create models designed to be fine-tuned, we explore the integration of transfer-learning (fine-tuning) with meta-learning algorithms, to train a network that has specific layers that are designed to be adapted at a later fine-tuning stage. To do so, we modify the episodic training process to include a first-order MAML-based meta-learning algorithm, and use a Graph Neural Network model as the subsequent meta-learning module. We find that our proposed method helps to boost accuracy significantly, especially when combined with data augmentation. In our final results, we combine the novel method with the baseline method in a simple ensemble, and achieve an average accuracy of 73.78% on the benchmark. This is a 6.51% improvement over existing benchmarks that were trained solely on miniImagenet.

研究动机与目标

• 解决在训练与测试域分布显著不同的严重域偏移场景下的少样本学习挑战。
• 克服现有少样本学习模型在训练与测试数据间假设域相似性的局限。
• 开发一种元学习框架，显式优化模型权重，以实现对未见域中少量标注样本的有效微调。
• 提升在自然图像、医学图像和卫星图像等多种域之间的鲁棒性与泛化能力。
• 证明通过集成学习将元微调模型与标准微调基线模型结合，可获得更优性能。

提出的方法

• 通过在支持集上微调来学习易于适应的初始化权重，将一阶 MAML 适配至元微调。
• 使用图神经网络（GNN）建模支持集样本与查询样本之间的关系，通过消息传递实现标签预测。
• 在将特征嵌入输入 GNN 前，将其投影到低维空间，以改善表示学习。
• 不仅在训练阶段，而且在支持集的微调阶段也应用数据增强，以提升鲁棒性。
• 将元微调与改进的基线微调方法结合，并通过模型集成方式融合两者，以降低方差并提升准确率。
• 在元任务训练期间冻结特征提取器的早期层，仅微调最后 k 层，以保留域不变特征。

实验结果

研究问题

• RQ1 元学习能否被调整为显式训练模型以用于微调，而非仅在推理阶段实现快速适应？
• RQ2 在多样化的、分布外的数据集上，元微调与标准微调在性能上如何比较？
• RQ3 在低样本场景下，于支持集微调阶段应用数据增强的影响是什么？
• RQ4 通过集成学习将元微调模型与标准微调模型结合，是否能在各域中持续提升性能？
• RQ5 元微调在与源域（miniImageNet）接近或远离的域中，性能表现如何变化？

主要发现

• 所提出的 Meta Fine-Tuning 方法结合 GNN 与数据增强，在 CVPR 2020 基准的全部 12 项任务中实现了 73.78% 的平均准确率，比仅在 miniImageNet 上训练的先前最先进模型高出 6.51%。
• 在 5 次样本设置下提升最为显著，相比基线模型 Ft-Last1 准确率提升 8.48%，表明在低样本场景下具有显著优势。
• 在 20 次样本设置下，准确率相比基线提升 4.68%；在 50 次样本设置下，提升 6.38%，表明在不同样本水平下均保持一致的性能增益。
• 元微调在与源域相近的域（如 CropDisease、EuroSAT）上表现最佳，而标准微调结合数据增强则在更远的域（如 ChestX）上表现更优。
• 消融实验表明，元微调与简单微调结合数据增强的性能相当，但元微调在与 miniImageNet 相似的域上略优。
• 通过集成学习将元微调模型与基线微调模型结合，可获得最高性能，证实了模型多样性在降低预测方差方面的优势。