[论文解读] Domain-Adaptive Few-Shot Learning

An Zhao, Mingyu Ding+6 more|arXiv (Cornell University)|Mar 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用 7

一句话总结

本文提出域对抗原型网络（DAPN），一种统一的领域自适应少样本学习（DA-FSL）框架，联合解决少样本分类与领域偏移问题。通过在特征嵌入前引入领域判别、在之后引入领域混淆，DAPN在全局领域对齐与类间可分性之间取得平衡，在DomainNet、Sketch和Quick-Draw等多个基准数据集上超越了当前最优（SOTA）的FSL与DA模型。

ABSTRACT

Existing few-shot learning (FSL) methods make the implicit assumption that the few target class samples are from the same domain as the source class samples. However, in practice this assumption is often invalid -- the target classes could come from a different domain. This poses an additional challenge of domain adaptation (DA) with few training samples. In this paper, the problem of domain-adaptive few-shot learning (DA-FSL) is tackled, which requires solving FSL and DA in a unified framework. To this end, we propose a novel domain-adversarial prototypical network (DAPN) model. It is designed to address a specific challenge in DA-FSL: the DA objective means that the source and target data distributions need to be aligned, typically through a shared domain-adaptive feature embedding space; but the FSL objective dictates that the target domain per class distribution must be different from that of any source domain class, meaning aligning the distributions across domains may harm the FSL performance. How to achieve global domain distribution alignment whilst maintaining source/target per-class discriminativeness thus becomes the key. Our solution is to explicitly enhance the source/target per-class separation before domain-adaptive feature embedding learning in the DAPN, in order to alleviate the negative effect of domain alignment on FSL. Extensive experiments show that our DAPN outperforms the state-of-the-art FSL and DA models, as well as their naïve combinations. The code is available at https://github.com/dingmyu/DAPN.

研究动机与目标

• 解决目标类别源自与源类别不同领域时的少样本学习挑战，该设置在以往工作中被忽视。
• 在统一框架中克服领域自适应（需要分布对齐）与少样本学习（需要类判别性）之间的冲突。
• 开发一种统一模型，可同时实现少样本分类与领域自适应，且仅需少量标注的目标样本。
• 在真实世界场景中提升泛化能力，这些场景中数据分布偏移（如相机类型差异、草图与照片）与罕见类别识别并存。

提出的方法

• 提出一种新颖的域对抗原型网络（DAPN），在单一架构中整合原型度量学习与领域自适应。
• 在特征嵌入模块之前引入领域判别损失（$L_{ds}$），以在领域对齐前增强源域与目标域的类间分离。
• 在嵌入模块之后应用领域混淆损失（$L_{dc}$），以对齐全局领域分布，同时保持每类的结构特性。
• 采用自适应损失重加权方法，平衡领域对齐与类判别性之间的竞争目标。
• 利用原型网络进行少样本分类，通过对抗训练学习领域自适应特征。
• 端到端训练模型，结合原型损失（$L_{ps}$）、每类领域损失（$L_{pd}$）、领域混淆损失（$L_{dc}$）与领域判别损失（$L_{ds}$）。

实验结果

研究问题

• RQ1 统一模型能否在目标类别与源类别来自不同领域时，有效同时解决少样本分类与领域自适应问题？
• RQ2 如何在不因全局分布对齐而损害类判别性的情况下，将领域自适应与少样本学习整合？
• RQ3 与仅使用嵌入后领域混淆相比，是否在嵌入前引入领域判别能提升领域自适应少样本学习的性能？
• RQ4 自适应损失重加权在多大程度上改善了DA-FSL中冲突目标之间的平衡？

主要发现

• 在5-way 5-shot设置下，DAPN在DomainNet、Sketch和Quick-Draw数据集上均超越了当前最优的FSL与领域自适应模型。
• 消融研究证实，每个组件——领域判别、领域混淆与自适应重加权——均对性能提升有显著贡献。
• 在嵌入前加入领域判别（通过$L_{ds}$）可改善源域与目标域的类间分离，经t-SNE可视化验证。
• 在嵌入后应用领域混淆（$L_{dc}$）对全局领域对齐至关重要，FSL+DC相比FSL单独使用有显著性能提升。
• 完整模型（FSL+DAA+ARW）在所有数据集上均取得最高准确率，证明了多目标优化的有效性。
• 模型在具有更大领域差距的挑战性合成数据集（Sketch与Quick-Draw）上表现稳健，证实其泛化能力。