[论文解读] Asymmetric GANs for Image-to-Image Translation

Hao Tang, Nicu Sebe|arXiv (Cornell University)|Dec 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 49被引用 5

一句话总结

该论文提出AsymmetricGAN，一种用于图像到图像翻译的新型生成对抗网络（GAN）框架，采用两个非对称生成器——分别为翻译任务和重建任务设计，大小与结构均不相同。通过将网络设计解耦以匹配任务特定需求，AsymmetricGAN在降低模型容量的同时实现了更优的图像质量和训练稳定性，优于StarGAN和GestureGAN等对称模型，在有监督和无监督翻译任务中均表现更优。

ABSTRACT

Existing models for unsupervised image translation with Generative Adversarial Networks (GANs) can learn the mapping from the source domain to the target domain using a cycle-consistency loss. However, these methods always adopt a symmetric network architecture to learn both forward and backward cycles. Because of the task complexity and cycle input difference between the source and target domains, the inequality in bidirectional forward-backward cycle translations is significant and the amount of information between two domains is different. In this paper, we analyze the limitation of existing symmetric GANs in asymmetric translation tasks, and propose an AsymmetricGAN model with both translation and reconstruction generators of unequal sizes and different parameter-sharing strategy to adapt to the asymmetric need in both unsupervised and supervised image translation tasks. Moreover, the training stage of existing methods has the common problem of model collapse that degrades the quality of the generated images, thus we explore different optimization losses for better training of AsymmetricGAN, making image translation with higher consistency and better stability. Extensive experiments on both supervised and unsupervised generative tasks with 8 datasets show that AsymmetricGAN achieves superior model capacity and better generation performance compared with existing GANs. To the best of our knowledge, we are the first to investigate the asymmetric GAN structure on both unsupervised and supervised image translation tasks.

研究动机与目标

• 解决对称GAN在图像翻译任务中因翻译与重建任务复杂度和信息流不同而产生的局限性。
• 通过为翻译和重建任务分别设计专用生成器，在降低模型容量的同时提升生成质量。
• 通过为非对称组件量身定制的优化损失，缓解训练不稳定和模式崩溃问题。
• 在有监督和无监督图像到图像翻译基准上验证方法的有效性。

提出的方法

• 引入两个不同的生成器：更大的翻译生成器 $G^t$ 负责将源域映射到目标域，更小的重建生成器 $G^r$ 负责从翻译输出中恢复原始图像。
• 在 $G^t$ 和 $G^r$ 的首个卷积层中使用不同的滤波器数量（64 vs. 4），实现非对称的参数共享与架构专业化。
• 利用领域特定引导（如标签 $z_x$, $z_y$ 或手部骨骼 $l_x$, $l_y$）来条件化翻译和重建过程。
• 采用联合优化策略，结合对抗损失、循环一致性损失和感知损失，以稳定训练并提升生成图像保真度。
• 采用双流架构，使 $G^t$ 和 $G^r$ 独立训练但共同优化以保持循环一致性。
• 采用尊重任务非对称性的参数共享策略，避免对称GAN中“一刀切”的网络设计。

实验结果

研究问题

• RQ1 在有监督和无监督设置下，与对称生成器相比，非对称生成器架构是否能提升图像到图像翻译性能？
• RQ2 将翻译与重建任务的网络容量解耦，是否能带来更优的生成质量并减少模型大小？
• RQ3 所提出的非对称设计在多大程度上缓解了模式崩溃并提升了GAN的训练稳定性？
• RQ4 AsymmetricGAN在手部手势到手势翻译任务中，相较于StarGAN和GestureGAN等最先进模型，表现如何？
• RQ5 该非对称框架是否可推广至手势翻译之外的其他图像翻译任务？

主要发现

• 在NTU手部数字数据集上，AsymmetricGAN的PSNR达到32.6686，优于SymmetricGAN（32.5740）和GestureGAN（32.6091），且重建分支参数量显著更少。
• 在Senz3D数据集上，AsymmetricGAN的PSNR为31.5624，AMT得分为28.1，优于所有基线模型，包括PG2、SAMG、DPIG、PoseGAN和GestureGAN。
• 在NTU Hand Digit数据集上FID得分为6.7132，在Senz3D上为12.4326，表明其图像质量更优且分布对齐更佳，优于基线模型。
• AsymmetricGAN将总参数量减少至11.434M（对称GAN为22.776M），同时提升PSNR和AMT，展现出更高的效率与有效性。
• 消融研究证实，即使大幅减少重建生成器的参数量，非对称设计仍能提升性能。
• 定性结果表明，AsymmetricGAN生成的图像更具照片真实感，细节更丰富，尤其在复杂手势翻译任务中优于所有对比方法。