[论文解读] MADAN: Multi-source Adversarial Domain Aggregation Network for Domain Adaptation

Sicheng Zhao, Bo Li+3 more|arXiv (Cornell University)|Feb 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 87被引用 4

一句话总结

本文提出MADAN，一种新颖的多源域对抗性自适应框架，通过使用具有动态语义一致性的像素级循环一致性图像转换，将多个源域与目标域对齐。该方法引入子域聚合与跨域循环判别器，统一适配后的源域，显著提升了图像分类与语义分割任务的性能，在Cityscapes、Office-31和Digits-five等多个基准上取得最先进结果。

ABSTRACT

Domain adaptation aims to learn a transferable model to bridge the domain shift between one labeled source domain and another sparsely labeled or unlabeled target domain. Since the labeled data may be collected from multiple sources, multi-source domain adaptation (MDA) has attracted increasing attention. Recent MDA methods do not consider the pixel-level alignment between sources and target or the misalignment across different sources. In this paper, we propose a novel MDA framework to address these challenges. Specifically, we design an end-to-end Multi-source Adversarial Domain Aggregation Network (MADAN). First, an adapted domain is generated for each source with dynamic semantic consistency while aligning towards the target at the pixel-level cycle-consistently. Second, sub-domain aggregation discriminator and cross-domain cycle discriminator are proposed to make different adapted domains more closely aggregated. Finally, feature-level alignment is performed between the aggregated domain and the target domain while training the task network. For the segmentation adaptation, we further enforce category-level alignment and incorporate context-aware generation, which constitutes MADAN+. We conduct extensive MDA experiments on digit recognition, object classification, and simulation-to-real semantic segmentation. The results demonstrate that the proposed MADAN and MANDA+ models outperform state-of-the-art approaches by a large margin.

研究动机与目标

• 解决现有多源域自适应（MDA）方法在像素级别对齐源域方面存在的局限性，并忽略不同源域之间错位的问题。
• 在存在多个带标签的源域与一个无标签目标域的场景下，提升域自适应性能，尤其针对语义分割等细粒度任务。
• 开发一个统一框架，实现多个适配后的源域有效聚合为共享的、与目标对齐的分布，且无需目标域标签。
• 通过引入类别级别对齐与上下文感知图像生成，将框架扩展至像素级预测任务，形成MADAN+。
• 通过注意力图可视化与适配前后像素级对齐的对比，展示模型可解释性的提升。

提出的方法

• 使用带有动态语义一致性损失的循环一致性生成对抗网络（Cycle-GAN），从每个源域生成适配图像，实现在像素级别与目标域的对齐。
• 引入子域聚合判别器，促使来自不同源域的适配域收敛至一个共享的统一分布。
• 实施跨域循环判别器，强制不同源-目标对之间的循环一致性，减少域间错位。
• 在任务网络训练过程中，对聚合后的适配域与目标域进行特征级对齐，以提升泛化能力。
• 针对分割任务，引入类别级别对齐与上下文感知图像生成，以保留适配图像中的空间与语义结构。
• 端到端训练整个框架，损失函数包括对抗损失、循环一致性损失以及特定任务的分类或分割损失。

实验结果

研究问题

• RQ1 如何在最小化域间错位的前提下，有效对齐具有不同分布的多个源域至共同的目标域？
• RQ2 相较于仅使用特征级对齐，采用具有循环一致性和动态语义一致性的像素级图像转换，能否显著提升域自适应性能？
• RQ3 通过对抗判别器实现的域聚合，在多源域自适应中在多大程度上提升了模型泛化能力？
• RQ4 所提方法能否有效扩展至语义分割等结构化预测任务？与现有方法相比表现如何？
• RQ5 所提方法是否通过注意力可视化与像素级对齐分析，提升了模型的可解释性？

主要发现

• 在Digits-five、Office-31、Office+Caltech-10和Office-Home数据集上，MADAN分别较最优现有MDA方法提升2.8%、3.0%、2.2%和4.6%的准确率。
• 在以GTA和SYNTHIA为源域、Cityscapes为目标域的语义分割任务中，MADAN+相较源域仅训练提升17.0% mIoU，较最优单源DA提升3.0%，较源域合并DA提升5.5%，较其他MDA方法提升13.4%。
• 在BDDS数据集上，MADAN+相较源域仅训练提升17.0% mIoU，较最优单源DA提升5.9%，较源域合并DA提升7.9%，较其他MDA方法提升16.6%。
• 可视化结果表明，MADAN生成的适配图像在风格上更接近目标域，同时保留了语义内容，证明了有效的像素级对齐。
• Grad-CAM注意力图显示，适配后的模型更关注具有判别性与可迁移性的区域（如目标物体），而减少对背景或非信息区域的关注。
• 消融实验验证了子域聚合与跨域循环判别器对性能提升均至关重要，尤其在缓解域偏移与域间错位方面效果显著。