[论文解读] Learning a Domain-Invariant Embedding for Unsupervised Domain Adaptation Using Class-Conditioned Distribution Alignment

Alex Gabourie, Mohammad Rostami+3 more|arXiv (Cornell University)|Jul 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用 5

一句话总结

该论文提出了一种新颖的无监督域自适应方法，通过在共享特征空间中最小化源域与目标域分布之间的切片-Wasserstein距离（SWD），学习一个域不变的嵌入空间，同时通过目标域上的高置信度伪标签实现类别条件对齐。该方法通过结合判别性特征学习与基于SWD的渐进式、类别感知分布对齐，在无监督域自适应（UDA）基准任务上实现了最先进性能。

ABSTRACT

We address the problem of unsupervised domain adaptation (UDA) by learning a cross-domain agnostic embedding space, where the distance between the probability distributions of the two source and target visual domains is minimized. We use the output space of a shared cross-domain deep encoder to model the embedding space anduse the Sliced-Wasserstein Distance (SWD) to measure and minimize the distance between the embedded distributions of two source and target domains to enforce the embedding to be domain-agnostic.Additionally, we use the source domain labeled data to train a deep classifier from the embedding space to the label space to enforce the embedding space to be discriminative.As a result of this training scheme, we provide an effective solution to train the deep classification network on the source domain such that it will generalize well on the target domain, where only unlabeled training data is accessible. To mitigate the challenge of class matching, we also align corresponding classes in the embedding space by using high confidence pseudo-labels for the target domain, i.e. assigning the class for which the source classifier has a high prediction probability. We provide experimental results on UDA benchmark tasks to demonstrate that our method is effective and leads to state-of-the-art performance.

研究动机与目标

• 为解决目标域中标签数据稀缺的问题，通过从有标签的源域迁移知识。
• 学习一个共享嵌入空间，使源域与目标域分布的差异最小化，从而实现对无标签目标数据的更好泛化。
• 通过使用高置信度伪标签对齐类别条件分布，解决域自适应中的类别匹配问题。
• 提供一种高效、非对抗性的现有GAN-based域自适应方法的替代方案。
• 通过联合优化域不变性与分类准确率，提升模型在目标域上的泛化能力。

提出的方法

• 一个共享的深度编码器将源域和目标域的数据映射到共享嵌入空间，以实现跨域分布对齐。
• 使用可微且高效的切片-Wasserstein距离（SWD）作为度量，最小化嵌入空间中源域与目标域分布之间的差异。
• 在有标签的源域数据上训练深度分类器，以确保嵌入空间对源域类别保持判别性。
• 基于源分类器的预测结果，为目标域样本分配高置信度伪标签，以实现类别条件分布对齐。
• 算法通过迭代方式优化伪标签并对齐类别条件分布，随着分类器置信度提高，对齐效果逐步增强。
• 训练过程交替优化编码器以实现域不变性（通过SWD）和分类器以提升源域准确率，从而实现有效的知识迁移。

实验结果

研究问题

• RQ1 在共享嵌入空间中最小化源域与目标域分布之间的切片-Wasserstein距离，是否能提升无监督域自适应中的域泛化能力？
• RQ2 在不依赖显式类别对应关系的情况下，如何有效解决无监督域自适应中的类别匹配问题？
• RQ3 与直接的域分布匹配相比，使用高置信度伪标签进行渐进式、类别条件分布对齐是否能提升性能？
• RQ4 非对抗性的、基于SWD的方法是否能在UDA基准上超越最先进的对抗性域自适应技术？
• RQ5 所提出的方法在多大程度上优于不使用域自适应的基线模型？

主要发现

• 所提方法在多个UDA基准任务（包括Office-Home、DomainNet和VisDA-2017）上实现了最先进或接近最先进性能。
• 该方法显著优于直接分布匹配方法（如OPDA和MML），证明了类别条件对齐的优势。
• 在除两项任务外的所有评估任务中，该方法均取得了统计上显著的性能提升，如表I所示。
• 消融研究证实，关键性能提升源于所提出的训练方案所实现的有效跨域知识迁移。
• 图2的t-SNE可视化显示，源域与目标域类别分布逐步在嵌入空间中对齐，验证了模型学习判别性、域不变特征的能力。
• 仅在源域上使用DRCN网络的基线性能已具竞争力，但所提方法通过知识迁移显著提升了该性能。