[论文解读] Mutual Learning Network for Multi-Source Domain Adaptation

Zhenpeng Li, Zhao Zhen+3 more|arXiv (Cornell University)|Mar 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用 13

一句话总结

本文提出了一种用于多源域自适应的互学习网络（ML-MSDA），这是一种新颖的框架，为每个源-目标域对使用条件对抗自适应网络作为分支网络，并为组合的多源域使用一个共享引导网络，通过在预测分布上的JS散度正则化实现互学习。该方法在多个基准数据集上实现了最先进性能，平均准确率相比先前的UDA和MSDA方法最高提升1.7%。

ABSTRACT

Early Unsupervised Domain Adaptation (UDA) methods have mostly assumed the setting of a single source domain, where all the labeled source data come from the same distribution. However, in practice the labeled data can come from multiple source domains with different distributions. In such scenarios, the single source domain adaptation methods can fail due to the existence of domain shifts across different source domains and multi-source domain adaptation methods need to be designed. In this paper, we propose a novel multi-source domain adaptation method, Mutual Learning Network for Multiple Source Domain Adaptation (ML-MSDA). Under the framework of mutual learning, the proposed method pairs the target domain with each single source domain to train a conditional adversarial domain adaptation network as a branch network, while taking the pair of the combined multi-source domain and target domain to train a conditional adversarial adaptive network as the guidance network. The multiple branch networks are aligned with the guidance network to achieve mutual learning by enforcing JS-divergence regularization over their prediction probability distributions on the corresponding target data. We conduct extensive experiments on multiple multi-source domain adaptation benchmark datasets. The results show the proposed ML-MSDA method outperforms the comparison methods and achieves the state-of-the-art performance.

研究动机与目标

• 解决多源域自适应中源域数据分布不同的领域偏移问题。
• 克服单源域自适应方法在源域异质性下失效的局限性。
• 开发一种框架，实现从多个源域向单一目标域的有效知识迁移，同时最小化负迁移。
• 引入一种互学习机制，对齐多个分支网络与共享引导网络的预测结果，以提升模型鲁棒性与泛化能力。
• 通过在特征与预测两个层面的双层对齐，平衡源域-源域与源域-目标域之间的分布差异。

提出的方法

• 为每个源域-目标域对分别训练一个独立的条件对抗自适应网络（分支网络），以对齐特征并减少领域偏移。
• 训练一个共享引导网络，通过共享的特征提取层对组合的多源域与目标域进行对齐。
• 通过在所有分支网络与引导网络对目标域预测概率分布上的JS散度正则化，强制实施互学习。
• 采用双层对齐机制：每个源域与目标域之间的条件对抗特征对齐，以及通过JS散度在分支网络与引导网络之间实现中心化预测对齐。
• 实施联合训练策略，包含多个损失组件：条件对抗损失、无监督熵损失和互学习正则化损失。
• 采用ResNet-101作为主干网络，并在所有网络的初始卷积阶段共享权重，以保留共享表征。

实验结果

研究问题

• RQ1 当源域具有异质性分布时，互学习框架是否能有效减少多源域自适应中的领域偏移？
• RQ2 分支网络与引导网络之间基于JS散度的预测对齐如何提升模型泛化能力并减少负迁移？
• RQ3 与单层方法相比，所提出的双层对齐（特征与预测）在多大程度上提升了域自适应性能？
• RQ4 包含建模组合多源域的共享引导网络是否相比仅使用单个源-目标对齐，能带来更好的特征迁移？
• RQ5 所提出方法的各个组件（如条件对抗损失、熵损失、互学习）对整体性能的贡献如何？

主要发现

• 所提出的ML-MSDA方法在DomainNet数据集的六个多源域自适应任务上实现了44.3%的平均准确率，相比所有对比方法高出1.7个百分点。
• 在具有挑战性的clp,inf,pnt,rel,skt → qdr任务上，ML-MSDA显著优于现有MSDA和单源DA方法，表明负迁移得到有效缓解。
• 消融实验表明，移除互学习正则化（ML-w/o LM）导致性能显著下降，证实其在模型稳定性和准确性中的关键作用。
• 在推理时同时使用引导网络与分支网络（通过集成）的效果优于仅依赖引导网络或平均分支网络的结果。
• 使用t-SNE进行的特征可视化表明，ML-MSDA下目标域特征更紧密地聚集于源域簇，表明迁移能力与可分性得到提升。
• 不使用条件对抗对齐的变体（ML-w/o condition-adv）性能劣于完整方法，证明了基于预测的条件化领域对齐的重要性。