[论文解读] Factorized Adversarial Networks for Unsupervised Domain Adaptation

Jian Ren, Shuicheng Yan+2 more|arXiv (Cornell University)|Jun 4, 2018

Domain Adaptation and Few-Shot Learning参考文献 32被引用 5

一句话总结

本文提出了一种新型无监督域自适应方法——因子化对抗网络（FAN），通过将潜在特征分解为任务特定子空间和域特定子空间，实现对源域与目标域的特征解耦。通过仅对任务特定子空间进行对抗性对齐（基于GAN的训练方式），FAN在基准数字数据集和大规模真实世界图像标注数据集上均取得了当前最优性能，显著优于先前方法如ADDA。

ABSTRACT

In this paper, we propose Factorized Adversarial Networks (FAN) to solve unsupervised domain adaptation problems for image classification tasks. Our networks map the data distribution into a latent feature space, which is factorized into a domain-specific subspace that contains domain-specific characteristics and a task-specific subspace that retains category information, for both source and target domains, respectively. Unsupervised domain adaptation is achieved by adversarial training to minimize the discrepancy between the distributions of two task-specific subspaces from source and target domains. We demonstrate that the proposed approach outperforms state-of-the-art methods on multiple benchmark datasets used in the literature for unsupervised domain adaptation. Furthermore, we collect two real-world tagging datasets that are much larger than existing benchmark datasets, and get significant improvement upon baselines, proving the practical value of our approach.

研究动机与目标

• 解决图像分类中的无监督域自适应问题，其中仅在源域中存在标注数据。
• 通过将潜在特征分解为域特定子空间与任务特定子空间，减少域间分布差异。
• 通过仅对任务特定子空间进行对抗性对齐，提升模型在目标域上的泛化能力。
• 在标准基准数据集和新收集的大规模真实世界图像标注数据集上验证方法的有效性。

提出的方法

• 网络将源域与目标域的潜在特征分解为域特定子空间（DSS）与任务特定子空间（TSS），并通过互信息损失施加正交性约束。
• 在源域中，网络联合使用分类损失与重建损失进行训练，其中DSS特征与logits拼接后用于重建输入图像。
• 在目标域中，网络使用对抗损失与重建损失，将目标域的TSS与源域的TSS对齐。
• 训练一个判别器网络，以区分来自源域与目标域的TSS特征，从而实现类似GAN的对抗性训练，最小化分布差异。
• 网络架构采用ResNet-50作为编码器，DCGAN风格的解码器用于图像重建，判别器为三层全连接网络，用于域分类。
• 采用两阶段训练流程：首先在源域上使用标注数据进行预训练，然后在目标域上使用无标注数据进行对抗性自适应训练。

实验结果

研究问题

• RQ1 将潜在特征解耦为域特定与任务特定子空间，是否能提升无监督域自适应性能？
• RQ2 仅对任务特定子空间进行对抗性对齐，是否比联合学习域不变特征能带来更好的泛化性能？
• RQ3 该方法在具有复杂域偏移的大规模真实世界图像数据集上的表现如何？
• RQ4 增加无标注目标域样本数量在多大程度上能提升自适应性能？

主要发现

• 在Mobile数据集上，FAN使用完整的目标域训练集，Top-1准确率达到46.32%，比ADDA高出2.46个百分点。
• 仅使用目标域训练数据的10%时，FAN的Top-1准确率相比未自适应基线模型提升了3.75个百分点。
• 在MNIST、USPS与SVHN基准数据集上，FAN取得了当前最优性能，超越了现有SOTA方法。
• 该方法在两个新收集的真实世界数据集——Crawling与Mobile上表现出显著提升，每个数据集均包含超过11.5万张图像与100个共享类别。
• 消融实验表明，增加无标注目标域图像数量可提升模型性能，当使用完整目标集时，Top-1准确率提升超过10个百分点。
• 可视化与分析结果表明，任务特定子空间捕获了与类别相关的关键特征，而域特定子空间则编码了域相关的噪声，验证了特征解耦设计的有效性。