[论文解读] Generative Adversarial Network with Multi-Branch Discriminator for Cross-Species Image-to-Image Translation

Ziqiang Zheng, Zhibin Yu+4 more|arXiv (Cornell University)|Jan 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 4

一句话总结

本文提出 GAN-MBD，一种多分支判别器架构，通过将单个判别器拆分为多个更小、参数高效的分支，增强了生成对抗网络在跨物种图像到图像翻译中的性能。该方法提升了生成质量并减少了模型参数，实现了在人类、猫和狗等多种物种间的高性能翻译，同时在标准GPU上保持高效，内存使用极少。

ABSTRACT

Current approaches have made great progress on image-to-image translation tasks benefiting from the success of image synthesis methods especially generative adversarial networks (GANs). However, existing methods are limited to handling translation tasks between two species while keeping the content matching on the semantic level. A more challenging task would be the translation among more than two species. To explore this new area, we propose a simple yet effective structure of a multi-branch discriminator for enhancing an arbitrary generative adversarial architecture (GAN), named GAN-MBD. It takes advantage of the boosting strategy to break a common discriminator into several smaller ones with fewer parameters, which can enhance the generation and synthesis abilities of GANs efficiently and effectively. Comprehensive experiments show that the proposed multi-branch discriminator can dramatically improve the performance of popular GANs on cross-species image-to-image translation tasks while reducing the number of parameters for computation. The code and some datasets are attached as supplementary materials for reference.

研究动机与目标

• 为解决跨物种图像到图像翻译的挑战，即需要在多个物种间实现语义层面的内容匹配。
• 降低现有 GAN 的计算负担，这些 GAN 通常需要高端 GPU 和较长的训练时间。
• 在不增加模型复杂度或参数数量的前提下，提升主流 GAN 的生成与合成能力。
• 实现不仅在两个物种之间，而且在三个或更多物种之间同时进行有效翻译。
• 开发一种后处理优化技术，以提升图像质量而不增加额外参数。

提出的方法

• 多分支判别器（MBD）将单个大型判别器分解为多个更小、并行的分支，每个分支参数更少，受提升策略（boosting strategy）启发。
• 每个分支处理特征子集，使模型能够学习到更鲁棒、更多样化的跨物种判别表征。
• MBD 结构即插即用，可与现有 GAN（如 Pix2pix、CycleGAN 和 StarGAN）兼容，无需架构重构即可提升其性能。
• 引入一种循环与优化的后处理流水线，通过迭代优化生成输出，进一步提升图像质量。
• 该方法显著减少了模型总参数量——例如，将 StarGAN 的判别器参数从 45.41M 降低至 11.89M（使用四个分支）——同时提高了翻译保真度。
• 实验采用 1 至 64 个分支的多分支设计，展示了在不同 GAN 框架中的可扩展性与效率。

实验结果

研究问题

• RQ1 多分支判别器结构是否能在减少模型参数的同时，提升多物种图像到图像翻译的性能？
• RQ2 与标准 GAN 及多判别器变体相比，MBD 架构在生成质量与训练效率方面表现如何？
• RQ3 循环与优化的后处理方法是否能在不增加模型参数的前提下提升图像质量？
• RQ4 MBD 框架是否能泛化至不同 GAN 架构，包括 Pix2pix、CycleGAN 和 StarGAN？
• RQ5 所提出方法是否能实现包括人类、猫和狗在内的三个或更多物种之间的有效跨物种翻译？

主要发现

• MBD 结构使 GAN 的总参数量最多减少 75%——例如，使用四个分支时，StarGAN 的总参数从 58.31M 降至 24.79M，同时性能得到提升。
• 所提出的 GAN-MBD 在跨物种图像到图像翻译任务中达到最先进水平，包括使用 StarGAN-4BR 实现人类、猫和狗之间的成功翻译。
• 循环与优化的后处理步骤显著提升了多物种任务中的图像质量，如在 CelebA、Cat2dog 等数据集上的定性结果所示。
• 与基线模型相比，训练时间最多减少 15%：例如，StarGAN-4br 每 1000 次迭代训练时间为 315.42ms，而标准 StarGAN 为 373.44ms。
• 基于 MBD 的 CycleGAN 在参数显著减少的情况下，实现了与使用多个判别器的标准 CycleGAN 相当或更优的图像质量。
• 该方法可在单张 1080 Ti GPU 上实现高质量图像翻译，且内存使用有限，具备实际部署可行性。