[论文解读] Improving Task Adaptation for Cross-domain Few-shot Learning.

Weihong Li, Xialei Liu+1 more|arXiv (Cornell University)|Jul 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 31被引用 5

一句话总结

本文提出在卷积层上附加带有残差连接的参数化适配器，以提升跨域少样本学习性能。通过在元测试期间将这些适配器集成到现有模型中，该方法在Meta-Dataset基准上实现了最先进性能，且计算开销极低。

ABSTRACT

In this paper, we look at the problem of cross-domain few-shot classification that aims to learn a classifier from previously unseen classes and domains with few labeled samples. We study several strategies including various adapter topologies and operations in terms of their performance and efficiency that can be easily attached to existing methods with different meta-training strategies and adapt them for a given task during meta-test phase. We show that parametric adapters attached to convolutional layers with residual connections performs the best, and significantly improves the performance of the state-of-the-art models in the Meta-Dataset benchmark with minor additional cost. Our code will be available at this https URL.

研究动机与目标

• 解决在未见领域和类别上的少样本分类挑战，其中标注数据极为有限。
• 研究高效且有效的适配器架构，可无缝集成到现有少样本学习模型中。
• 优化适配器拓扑结构与操作，以在跨域少样本设置中平衡性能与推理效率。
• 通过在预训练模型上附加适配器实现在元测试期间的任务自适应，而无需重新训练。
• 通过最小的架构修改，提升最先进模型在Meta-Dataset基准上的泛化能力。

提出的方法

• 将参数化适配器作为轻量级模块插入预训练模型的卷积层中。
• 使用残差连接以稳定训练并改善梯度流动。
• 在元测试阶段应用适配器，以在不进行元训练更新的情况下适应新任务。
• 评估多种适配器拓扑结构与操作，以识别最有效的配置。
• 将适配器附加到采用不同元训练策略的现有少样本学习方法上，以评估泛化能力。
• 通过在推理期间进行端到端微调来优化适配器参数，实现任务特定的自适应。

实验结果

研究问题

• RQ1 在跨域少样本学习中，哪种适配器拓扑结构与操作能实现性能与效率的最佳权衡？
• RQ2 带有残差连接的参数化适配器在将预训练模型适应到未见领域和类别方面有多有效？
• RQ3 是否可以在不依赖元训练更新的情况下，在元测试期间有效应用适配器？
• RQ4 适配器在多大程度上提升了最先进模型在Meta-Dataset基准上的性能？
• RQ5 与性能增益相比，集成适配器的计算成本如何？

主要发现

• 带有残差连接的参数化适配器在准确率与效率方面均优于所有其他适配器配置。
• 所提出的适配器设计显著提升了最先进模型在Meta-Dataset基准上的性能。
• 该方法仅带来极小的推理成本增加，使其在实际部署中具有可行性。
• 适配器能够在元测试期间实现有效的任务自适应，即使模型在元训练期间未见过目标领域。
• 该方法在不同元训练策略和基础模型上均表现出良好的泛化能力。