[论文解读] Multi-source Domain Adaptation via Weighted Joint Distributions Optimal Transport

Rosanna Turrisi, Rémi Flamary+2 more|arXiv (Cornell University)|Jun 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用 8

一句话总结

该论文提出了一种名为MSDA-WJDOT的新颖多源域自适应方法，通过加权联合分布最优传输技术，同时对齐源域与目标域，并基于特征空间和标签空间中的相似性学习自适应的源权重。该方法通过利用源分布的多样性而非强制不变性，实现了最先进性能，在模拟和真实世界基准测试中均表现出更优的鲁棒性与可解释性。

ABSTRACT

The problem of domain adaptation on an unlabeled target dataset using knowledge from multiple labelled source datasets is becoming increasingly important. A key challenge is to design an approach that overcomes the covariate and target shift both among the sources, and between the source and target domains. In this paper, we address this problem from a new perspective: instead of looking for a latent representation invariant between source and target domains, we exploit the diversity of source distributions by tuning their weights to the target task at hand. Our method, named Weighted Joint Distribution Optimal Transport (WJDOT), aims at finding simultaneously an Optimal Transport-based alignment between the source and target distributions and a re-weighting of the sources distributions. We discuss the theoretical aspects of the method and propose a conceptually simple algorithm. Numerical experiments indicate that the proposed method achieves state-of-the-art performance on simulated and real-life datasets.

研究动机与目标

• 为解决现有域自适应方法强制跨域特征不变性所带来的局限性，尤其在源分布多样或旋转时可能失效的问题。
• 开发一种方法，利用多个源域的多样性，而非将其压缩为单一不变表示。
• 提出一种基于最优传输与联合分布对齐的理论基础坚实的多源域自适应方法。
• 联合学习嵌入函数与源权重，实现根据目标域特征动态选择相关源。
• 提升在域偏移与目标偏移问题中的泛化能力与鲁棒性，尤其在低数据场景下。

提出的方法

• 该方法将多源域自适应建模为最优传输问题，即在目标分布与源联合分布的凸组合之间进行联合优化。
• 引入源联合分布的加权和，其中权重在训练过程中学习，以反映各源对目标域的相关性。
• 核心优化目标是最小化估计的目标联合分布与加权源联合分布之和之间的Wasserstein距离。
• 该方法联合优化嵌入函数 $g$ 与源权重 $\boldsymbol{\alpha}$，使模型能够基于特征空间与标签空间的相似性自适应选择源。
• 采用可微的最优传输层计算传输成本，支持基于梯度的端到端训练。
• 通过在特征与标签空间上建模联合分布，支持域偏移与目标偏移两种场景。

实验结果

研究问题

• RQ1 一种显式建模源分布多样性的多源域自适应方法，是否能超越强制特征不变性的方法？
• RQ2 如何利用最优传输技术同时对齐源与目标的联合分布并学习源权重？
• RQ3 最小化目标分布与加权源联合分布之和之间Wasserstein距离的方法，其理论泛化界是什么？
• RQ4 联合优化嵌入函数与源权重是否能提升在低数据与高偏移场景下的鲁棒性与性能？
• RQ5 所学习的源权重如何提供可解释性，并在真实应用中衡量域相关性？

主要发现

• MSDA-WJDOT MTL在音乐-语音区分任务的四个目标域中平均排名达2.25，显著优于所有其他方法，包括那些可访问目标标签的方法。
• 该方法在Destroyerengine (D) 数据集上实现了99.67% ± 1.63的测试准确率，展示了在具有挑战性的现实世界自适应问题中的卓越性能。
• MSDA-WJDOT MTL表现出较低的标准差（如F16上的4.15%），表明其对小样本与数据变异具有高度鲁棒性。
• 该方法甚至优于使用目标标签的Target与Baseline+Target基线，凸显其在零样本自适应中的有效性。
• 所学习的源权重提供了可解释的域相关性度量，更高权重被分配给在特征与标签空间中与目标最相似的源。
• 消融实验证实，联合训练嵌入与权重（MSDA-WJDOT MTL）显著优于微调嵌入模型，验证了端到端优化的优势。