[论文解读] From source to target and back: symmetric bi-directional adaptive GAN

Paolo Russo, Fabio Maria Carlucci+2 more|arXiv (Cornell University)|May 24, 2017

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 13

一句话总结

该论文提出SBADA-GAN，一种用于无监督域适应的对称双向生成对抗网络，通过新颖的损失函数联合优化源域到目标域与目标域到源域的图像翻译，并实现类别一致性。该方法在六个基准测试中达到最先进性能，在其中四个上超越了先前方法，对超参数具有鲁棒性，并能生成高质量图像重建。

ABSTRACT

The effectiveness of generative adversarial approaches in producing images according to a specific style or visual domain has recently opened new directions to solve the unsupervised domain adaptation problem. It has been shown that source labeled images can be modified to mimic target samples making it possible to train directly a classifier in the target domain, despite the original lack of annotated data. Inverse mappings from the target to the source domain have also been evaluated but only passing through adapted feature spaces, thus without new image generation. In this paper we propose to better exploit the potential of generative adversarial networks for adaptation by introducing a novel symmetric mapping among domains. We jointly optimize bi-directional image transformations combining them with target self-labeling. Moreover we define a new class consistency loss that aligns the generators in the two directions imposing to conserve the class identity of an image passing through both domain mappings. A detailed qualitative and quantitative analysis of the reconstructed images confirm the power of our approach. By integrating the two domain specific classifiers obtained with our bi-directional network we exceed previous state-of-the-art unsupervised adaptation results on four different benchmark datasets.

研究动机与目标

• 通过在源域与目标域之间实现对称的双向图像翻译，解决单向域适应的局限性。
• 在存在标注源数据但目标域无任何标注的情况下，提升无监督域适应中的泛化能力。
• 引入类别一致性损失，以在双域变换过程中保留语义身份，减少对像素级重建的依赖。
• 通过利用源分类器对转换后的目标域图像进行伪标签化，提升模型的鲁棒性与性能。
• 在无需成对数据的情况下，于多样化域适应设置中实现最先进分类准确率。

提出的方法

• 使用对抗损失训练两个生成器 $G_{st}$（源到目标）和 $G_{ts}$（目标到源），以生成具有域偏移感的真实图像。
• 联合优化两个分类头：一个用于原始源图像，另一个用于从目标输入生成的源域风格图像。
• 应用伪标签化：使用源分类器为从目标域生成的源域风格图像分配标签，并反向传播以优化生成器。
• 引入类别一致性损失，确保源图像经映射至目标域后再次返回源域时，仍保持原始类别标签。
• 采用对称架构，使用共享判别器 $D_s$ 和 $D_t$ 区分各域中的真实图像与生成图像。
• 通过加权损失组件实现训练平衡：对抗损失、分类损失、自标签化损失与类别一致性损失，超参数经调优以确保稳定性。

实验结果

研究问题

• RQ1 与单向方法相比，对称双向图像翻译是否能提升无监督域适应的性能？
• RQ2 在无需像素级重建的情况下，类别一致性损失在双域图像变换中保留语义身份的效果如何？
• RQ3 对生成的目标域风格源图像进行伪标签化，是否能提升低资源目标域中分类器的泛化能力？
• RQ4 所提方法对超参数选择（尤其是损失权重配置）的鲁棒性如何？
• RQ5 当小批量训练与类别分布不平衡时，模型是否仍能保持高性能？

主要发现

• SBADA-GAN在六个无监督域适应基准测试中达到最先进分类准确率，在其中四个上超越先前方法。
• 类别一致性损失显著改善了正向与反向域映射之间的对齐，增强了语义保留性，且无需强制像素级重建。
• 即使批量大小从32减少至16，模型仍保持高准确率（Synth.Signs → GTSRB上达96.7%），表明训练具有稳定性。
• SBADA-GAN在分类损失与类别一致性损失权重变化时性能下降极小（准确率降幅小于0.2%），表现出优异鲁棒性。
• 相比之下，DA-SS方法[15]对访问损失权重变化极为敏感，性能下降超过16个百分点，凸显SBADA-GAN的优越稳定性。
• t-SNE可视化结果证实，双向生成的图像均能忠实覆盖目标域分布，验证了有效的域迁移能力。