[论文解读] Modular Generative Adversarial Networks

Bo Zhao, Bo Chang+2 more|arXiv (Cornell University)|Apr 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 12

一句话总结

该论文提出了一种新型模块化生成对抗网络 ModularGAN，通过使用可重用、可组合的模块（如编码器、变换器、生成器、重建器和判别器），实现高效的多领域图像到图像翻译。通过在训练过程中联合训练这些模块，并在推理时动态组合，ModularGAN 避免了训练指数级增长的成对模型，在 CelebA 数据集上实现了面部属性迁移的最先进性能，并通过掩码预测和循环一致性损失保持了鲁棒性。

ABSTRACT

Existing methods for multi-domain image-to-image translation (or generation) attempt to directly map an input image (or a random vector) to an image in one of the output domains. However, most existing methods have limited scalability and robustness, since they require building independent models for each pair of domains in question. This leads to two significant shortcomings: (1) the need to train exponential number of pairwise models, and (2) the inability to leverage data from other domains when training a particular pairwise mapping. Inspired by recent work on module networks, this paper proposes ModularGAN for multi-domain image generation and image-to-image translation. ModularGAN consists of several reusable and composable modules that carry on different functions (e.g., encoding, decoding, transformations). These modules can be trained simultaneously, leveraging data from all domains, and then combined to construct specific GAN networks at test time, according to the specific image translation task. This leads to ModularGAN's superior flexibility of generating (or translating to) an image in any desired domain. Experimental results demonstrate that our model not only presents compelling perceptual results but also outperforms state-of-the-art methods on multi-domain facial attribute transfer.

研究动机与目标

• 解决现有成对图像翻译模型在可扩展性和数据效率方面的不足，这些模型需要为每对领域单独训练模型。
• 通过将图像生成分解为更简单、可重用的功能模块，克服单一复杂模型的局限性。
• 在推理时实现模块的灵活、动态组合，以在不重新训练的情况下生成任意目标领域的图像。
• 在训练过程中利用所有领域的数据，以提升泛化能力并减少对稀有领域组合中稀缺成对数据的依赖。
• 通过结构化的模块设计和辅助损失，提升多属性图像翻译中的鲁棒性和属性保真度。

提出的方法

• 设计一种由五个核心组件组成的模块化 GAN 架构：生成器、编码器、变换器、重建器和判别器，每个组件在图像生成流程中负责特定功能。
• 使用包含对抗损失、重建损失和属性分类损失的联合目标端到端训练所有模块，以确保输出的逼真性和属性准确性。
• 在变换器模块中引入掩码预测头，以指导空间上局部化的特征变换，提升对属性的控制力与解耦能力。
• 在训练过程中应用循环一致性损失，以确保序列变换（例如 A→B→C）保持身份不变并减少分布偏移。
• 通过在推理时以任意顺序堆叠变换器模块，实现变换器模块的动态组合，从而灵活生成任意目标领域的图像。
• 使用共享的 ResNet-18 分类器评估生成图像的属性准确性，确保对目标属性（如发色、性别和表情）的保真度。

实验结果

研究问题

• RQ1 由可重用、可组合的 GAN 模块构成的模块化架构，是否能在多领域图像翻译中超越现有的成对模型或单模型方法？
• RQ2 在变换器模块中使用掩码预测，是否相比端到端的特征变换，能提升属性解耦能力和生成质量？
• RQ3 当多个模块被顺序组合时，循环一致性损失如何影响多属性翻译的性能？
• RQ4 该模型对模块组合顺序是否具有鲁棒性，从而实现在多样化领域组合中的灵活且可靠的生成？
• RQ5 在所有领域上进行联合训练，是否能提升泛化能力并降低在稀有或复杂属性组合上的错误率？

主要发现

• 在 Amazon Mechanical Turk 评估中，ModularGAN 在属性迁移任务中获得了最高的用户偏好得分（100 分中得 48.70 分），显著优于 IcGAN、CycleGAN 和 StarGAN。
• 在 CelebA 数据集上，ModularGAN 在属性预测方面达到了最低的分类错误率（性别错误率 2.61%，微笑错误率 4.21%，发色错误率 3.86%），表明其在生成目标属性方面具有极高的保真度。
• 消融实验表明，若移除掩码预测，HSG（发色、微笑、性别）任务的错误率上升至 30.85%，证实其在解耦操作中的关键作用。
• 若不使用循环损失，多属性迁移性能急剧下降（HSG 任务错误率达 52.87%），表明其在保持组合变换一致性方面至关重要。
• 随机化变换器模块的顺序对性能影响极小（HSG 任务错误率为 6.23%），证实模型对模块组合顺序具有鲁棒性。
• 在 HSG 属性迁移任务中，ModularGAN 获得了 46.96% 的偏好得分，显著优于 StarGAN（27.83%）和 CycleGAN（9.57%），凸显其在复杂、多属性生成任务中的优越性。