[论文解读] CatGAN: Coupled Adversarial Transfer for Domain Generation.

Shanshan Wang, Lei Zhang|arXiv (Cornell University)|Nov 24, 2017

Domain Adaptation and Few-Shot Learning参考文献 54被引用 7

一句话总结

CatGAN 提出了一种使用对称浅层多层感知机的耦合对抗迁移 GAN，以实现高效的领域自适应。通过联合优化生成器与判别器对，结合 GAN 损失和领域损失，它在无需标签约束的情况下保持了内容保真度，并实现了具有竞争力的性能，优于最先进方法的领域对齐效果。

ABSTRACT

This paper introduces a Coupled adversarial transfer GAN (CatGAN), an efficient solution to domain alignment. The basic principles of CatGAN focus on the domain generation strategy for adaptation which is motivated by the generative adversarial net (GAN) and the adversarial discriminative domain adaptation (ADDA). CatGAN is structured by shallow multilayer perceptrons (MLPs) for adversarial domain adaptation. The CatGAN comprises of two slim and symmetric subnetworks, which then formulates a coupled adversarial learning framework. With such symmetry, the input images from source/target domain can be fed into the MLP network for target/source domain generation, supervised by the coupled discriminators for confrontation. Notablely, each generator contains GAN loss and domain loss to guarantee the simple network work well. The content fidelity term aims at preserving the domain specific knowledge during generation. Another finding is that the class-wise CatGAN is an effective alternative to conditional GAN without label constraint in generative learning. We show experimentally that the proposed model achieves competitive performance with state-of-the art approaches.

研究动机与目标

• 为通过改善源域与目标域之间的领域对齐来解决迁移学习中的领域偏移问题。
• 开发一种基于浅层多层感知机的轻量化、高效架构，用于对抗性领域自适应。
• 实现在目标域中无需标注数据的、内容保持的领域迁移。
• 探索在无显式标签监督的条件 GAN 类设置下，类别级生成的有效性。

提出的方法

• CatGAN 使用两个对称的浅层多层感知机（MLP）子网络——一个用于源域到目标域，另一个用于目标域到源域的领域转换。
• 该框架使用耦合判别器以强制执行对抗性训练，其中每个生成器被训练以欺骗其对应的判别器。
• 每个生成器通过结合 GAN 损失和领域损失进行优化，以确保生成图像的真实感和领域对齐性。
• 在损失函数中集成了内容保真度项，以在生成过程中保留领域特定特征。
• 该模型支持类别级生成，作为无需标签监督的条件 GAN 的替代方案。
• 对称架构支持双向领域迁移，并实现对两个生成器和判别器的联合优化。

实验结果

研究问题

• RQ1 基于轻量化、对称 MLP 的 GAN 架构是否能在无需复杂网络或标注数据的情况下实现具有竞争力的领域自适应性能？
• RQ2 耦合对抗性训练框架在对齐源域与目标域分布方面有多有效？
• RQ3 内容保真度项在图像生成过程中在多大程度上保留了领域特定特征？
• RQ4 是否能有效实现无需显式标签约束的类别级生成，类似于条件 GAN？
• RQ5 CatGAN 在准确率和效率方面与最先进领域自适应方法相比表现如何？

主要发现

• 尽管架构轻量化，CatGAN 在领域自适应基准测试中实现了具有竞争力的性能，表现匹配或超越最先进方法。
• 对称的耦合训练框架通过对抗性学习有效对齐了源域与目标域的分布。
• 引入内容保真度损失显著提升了生成图像的质量以及领域特定特征的保留程度。
• 无需标签约束即可成功实现类别级生成，证明了该模型作为条件 GAN 无标签替代方案的能力。
• 使用浅层 MLP 实现了高效的训练与推理，使 CatGAN 成为领域自适应任务中可扩展的解决方案。