[论文解读] Meta-FDMixup

Yuqian Fu, Yanwei Fu+1 more|arXiv (Cornell University)|Oct 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 23被引用 1

一句话总结

该论文提出 Meta-FDMixup，一种用于跨域少样本学习（CD-FSL）的新颖元学习框架，通过利用有限的标注目标数据来弥合领域差距。通过将重新设计的 mixup 模块与解耦特征提取器及领域分类器相结合，该方法提升了对未见目标领域的泛化能力，在基准数据集上实现了最先进性能。

ABSTRACT

A recent study finds that existing few-shot learning methods, trained on the source domain, fail to generalize to the novel target domain when a domain gap is observed. This motivates the task of Cross-Domain Few-Shot Learning (CD-FSL). In this paper, we realize that the labeled target data in CD-FSL has not been leveraged in any way to help the learning process. Thus, we advocate utilizing few labeled target data to guide the model learning. Technically, a novel meta-FDMixup network is proposed. We tackle this problem mainly from two aspects. Firstly, to utilize the source and the newly introduced target data of two different class sets, a mixup module is re-proposed and integrated into the meta-learning mechanism. Secondly, a novel disentangle module together with a domain classifier is proposed to extract the disentangled domain-irrelevant and domain-specific features. These two modules together enable our model to narrow the domain gap thus generalizing well to the target datasets. Additionally, a detailed feasibility and pilot study is conducted to reflect the intuitive understanding of CD-FSL under our new setting. Experimental results show the effectiveness of our new setting and the proposed method. Codes and models are available at https://github.com/lovelyqian/Meta-FDMixup.

研究动机与目标

• 解决当源域与目标域之间存在领域差距时，少样本学习模型出现泛化失败的问题。
• 探索在 CD-FSL 中利用有限标注目标数据以提升模型适应能力的未开发潜力。
• 开发一种元学习框架，有效结合来自不同类别集合的源域和目标域数据。
• 解耦领域不变特征与领域特定特征，以减少领域偏移并提升鲁棒性。
• 通过实证研究验证所提 CD-FSL 设置的可行性和有效性。

提出的方法

• 重新设计了一种新颖的 mixup 模块，可将来自源域和目标域的支持集进行组合，即使二者属于不同的类别集合。
• 将 mixup 模块集成到元学习范式中，以利用源域和目标域的标注数据实现少样本适应。
• 引入了解耦模块，将特征分离为领域不变和领域特定的组成部分。
• 与解耦模块联合训练领域分类器，以促使模型学习领域鲁棒的表征。
• 通过元学习目标端到端训练模型，以优化在目标域上的少样本泛化能力。
• 通过特征解耦最小化领域偏移，使框架能够有效实现从源域到目标域的知识迁移。

实验结果

研究问题

• RQ1 有限的标注目标数据是否能提升跨域设置下的少样本泛化能力？
• RQ2 如何将 mixup 方法适配以组合来自源域和目标域且类别集合不相交的支持集？
• RQ3 解耦特征学习在多大程度上能减少 CD-FSL 中的领域偏移？
• RQ4 将目标数据整合进元学习是否能提升在未见目标数据集上的性能？
• RQ5 在领域偏移条件下，所提方法与现有 FSL 方法相比表现如何？

主要发现

• 所提出的 Meta-FDMixup 框架在标准 CD-FSL 基准上实现了最先进性能，证明了其在领域偏移下的优越泛化能力。
• 标注目标数据的引入显著提升了模型在新型目标领域的鲁棒性和准确性。
• 解耦特征学习组件有效分离了领域不变与领域特定特征，减少了领域偏移。
• 消融研究证实，mixup 模块与解耦模块均对性能提升有显著贡献。
• 初步研究验证了所提 CD-FSL 设置的可行性，并突出了利用目标数据的重要性。