[论文解读] Meta-FDMixup: Cross-Domain Few-Shot Learning Guided by Labeled Target Data

Yuqian Fu, Yanwei Fu+1 more|arXiv (Cornell University)|Jul 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 29被引用 9

一句话总结

本文提出 Meta-FDMixup，一种用于跨域少样本学习的元学习框架，通过利用少量标注的目标数据，提升模型在不同域之间的泛化能力。通过结合基于 mixup 的数据增强与解耦特征学习，以分离域不变特征和域特定特征，该方法在目标数据集上实现了最先进性能，同时提升了源数据集上的准确率。

ABSTRACT

A recent study finds that existing few-shot learning methods, trained on the source domain, fail to generalize to the novel target domain when a domain gap is observed. This motivates the task of Cross-Domain Few-Shot Learning (CD-FSL). In this paper, we realize that the labeled target data in CD-FSL has not been leveraged in any way to help the learning process. Thus, we advocate utilizing few labeled target data to guide the model learning. Technically, a novel meta-FDMixup network is proposed. We tackle this problem mainly from two aspects. Firstly, to utilize the source and the newly introduced target data of two different class sets, a mixup module is re-proposed and integrated into the meta-learning mechanism. Secondly, a novel disentangle module together with a domain classifier is proposed to extract the disentangled domain-irrelevant and domain-specific features. These two modules together enable our model to narrow the domain gap thus generalizing well to the target datasets. Additionally, a detailed feasibility and pilot study is conducted to reflect the intuitive understanding of CD-FSL under our new setting. Experimental results show the effectiveness of our new setting and the proposed method. Codes and models are available at https://github.com/lovelyqian/Meta-FDMixup.

研究动机与目标

• 为解决跨域少样本学习（CD-FSL）中的域偏移问题，现有方法在源域与目标域显著不同时表现不佳。
• 探索使用少量标注的目标样本作为辅助数据，以指导元学习的可行性和有效性。
• 开发一种联合学习域不变特征与域特定归纳偏置的方法，以提升零样本泛化能力。
• 验证在元学习流程中引入标注目标数据的最佳训练策略。

提出的方法

• 提出一种新颖的元-FDMixup 网络，在元训练过程中将源数据集与辅助（标注目标）数据集之间的 mixup 增广进行整合。
• 引入一个解耦模块，将图像特征分离为与域无关（共享）和与域相关（独特）的组成部分。
• 模型执行双重少样本分类任务：一个在源支持集上进行，一个在辅助支持集上进行，均使用与域无关的特征。
• 训练一个域分类器以区分源域与目标域，强化对域特定特征的解耦。
• mixup 比例 λ 从 Beta(α, α) 分布中采样，以平衡源域与辅助域之间的数据混合。
• 使用结合少样本分类与域分类目标的多任务损失，端到端训练该框架。

实验结果

研究问题

• RQ1 少量标注的目标样本是否能显著提升跨域设置下的少样本泛化性能？
• RQ2 在元训练的哪个阶段引入辅助目标数据可实现最佳性能？
• RQ3 辅助标注样本的数量如何影响模型的准确率与鲁棒性？
• RQ4 联合学习域不变特征与域特定特征是否比标准元学习带来更好的泛化性能？

主要发现

• 仅引入 5–10 个目标域的标注样本，即可在跨域少样本学习中带来显著的性能提升。
• 双任务少样本分类机制在源数据集与目标数据集上均优于单任务基线，表明两个域之间存在相互促进作用。
• 当 λ 被限制为偏向某一领域（如 λ > 0.5 或 λ < 0.5）时，性能下降，表明平衡混合对多样性与泛化至关重要。
• 通过 Grad-CAM 可视化证实，所提模型将注意力转移到目标类别图像的判别性区域（如鸟类羽毛），而基线模型则聚焦于背景或域特定伪影。
• 该模型在多个目标数据集（如 CUB、Cars、Places、Plantae）上实现了最先进准确率，同时在源数据集 mini-ImageNet 上也提升了性能。