[论文解读] Cross-domain Few-shot Learning with Task-specific Adapters

Weihong Li, Xialei Liu+1 more|arXiv (Cornell University)|Jul 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用 9

一句话总结

该论文提出了一种新颖的跨域少样本学习框架，直接从零开始在小规模支持集上优化特定任务的适配器，无需依赖辅助网络来预测适配器权重。通过在主干网络的多个层级使用残差连接的矩阵适配器，该方法在 Meta-Dataset 上实现了最先进性能，计算开销极低，显著提升了对未见领域的零样本泛化能力。

ABSTRACT

In this paper, we look at the problem of cross-domain few-shot classification that aims to learn a classifier from previously unseen classes and domains with few labeled samples. Recent approaches broadly solve this problem by parameterizing their few-shot classifiers with task-agnostic and task-specific weights where the former is typically learned on a large training set and the latter is dynamically predicted through an auxiliary network conditioned on a small support set. In this work, we focus on the estimation of the latter, and propose to learn task-specific weights from scratch directly on a small support set, in contrast to dynamically estimating them. In particular, through systematic analysis, we show that task-specific weights through parametric adapters in matrix form with residual connections to multiple intermediate layers of a backbone network significantly improves the performance of the state-of-the-art models in the Meta-Dataset benchmark with minor additional cost.

研究动机与目标

• 解决测试数据来自未见领域且标注样本极少的跨域少样本分类挑战。
• 克服先前方法依赖辅助网络动态预测特定任务适配器权重的局限性。
• 通过在元测试阶段直接从少量支持集学习特定任务适配器，提升对未见领域的泛化能力。
• 系统评估适配器架构中的设计选择，包括连接类型和参数化方式，以实现最优的少样本适应性能。
• 通过避免对完整主干网络进行微调，在保持强泛化能力的同时实现高性能与低计算成本。

提出的方法

• 引入特定任务适配器作为可学习的轻量化矩阵变换，应用于预训练主干网络的多个中间层。
• 在主干特征与适配器输出之间使用残差连接，以稳定训练并改善梯度流动。
• 在元测试期间，直接从支持集端到端优化适配器参数，无需额外的辅助网络。
• 探索多种适配器架构，包括串行和残差连接结构，并采用高效的低秩近似以减少参数量。
• 在元训练阶段对任务无关的主干权重进行训练，覆盖多样化领域；在元测试阶段仅微调特定任务适配器。
• 使用标准交叉熵损失，对每个任务的每个episode在支持集上端到端优化适配器参数。

实验结果

研究问题

• RQ1 是否能够仅从少量支持集直接从零开始有效学习特定任务适配器，而无需依赖辅助网络？
• RQ2 不同适配器架构（如残差连接与串行结构）在跨域少样本学习中的性能表现有何差异？
• RQ3 低秩参数化对适配器效率与准确率有何影响？
• RQ4 与通过辅助网络动态预测适配器权重的方法相比，直接优化适配器在未见领域泛化能力方面表现如何？
• RQ5 该方法是否能在保持低推理成本的同时实现最先进性能？

主要发现

• 所提方法在 Meta-Dataset 基准上实现了最先进性能，优于先前方法（包括 URL、Finetune+NCC 和 Simple CNAPS）。
• 该方法将 ImageNet 上的元测试推理成本降低至每任务 7.2 秒，显著低于全量微调（7.7 秒），且优于最快基线（0.7 秒）的同时实现了更高准确率。
• 采用低秩近似的残差连接矩阵适配器在参数增加极少的情况下实现了优异性能，展现出高效与有效兼具的优势。
• 定性结果表明，该模型能更准确地检索语义上相似的图像，而基线模型常基于颜色、形状或背景相似性进行检索。
• 在 Birds、Traffic Sign 和 CIFAR-100 等具有挑战性的数据集上，模型对未见领域的泛化能力更强，表现为更准确的最近邻预测。
• 消融实验表明，直接优化适配器的性能优于通过辅助网络动态预测的方法，尤其在跨域设置下优势更明显。