[论文解读] DivCo: Diverse Conditional Image Synthesis via Contrastive Generative Adversarial Network

Rui Liu, Yixiao Ge+3 more|arXiv (Cornell University)|Mar 14, 2021

Generative Adversarial Networks and Image Synthesis参考文献 45被引用 4

一句话总结

本文提出 DivCo，一种基于对比学习的新框架，通过使用潜在增强对比损失，联合建模生成图像之间的正样本与负样本关系，从而提升多样化条件图像生成效果。通过鼓励邻近潜在码生成的图像之间具有相似性，而远距离潜在码生成的图像之间具有差异性，DivCo 有效缓解了模式崩溃问题，同时保持了图像质量，在无配对与配对图像生成任务上均优于当前最先进方法。

ABSTRACT

Conditional generative adversarial networks (cGANs) target at synthesizing diverse images given the input conditions and latent codes, but unfortunately, they usually suffer from the issue of mode collapse. To solve this issue, previous works mainly focused on encouraging the correlation between the latent codes and their generated images, while ignoring the relations between images generated from various latent codes. The recent MSGAN tried to encourage the diversity of the generated image but only considers "negative" relations between the image pairs. In this paper, we propose a novel DivCo framework to properly constrain both "positive" and "negative" relations between the generated images specified in the latent space. To the best of our knowledge, this is the first attempt to use contrastive learning for diverse conditional image synthesis. A novel latent-augmented contrastive loss is introduced, which encourages images generated from adjacent latent codes to be similar and those generated from distinct latent codes to be dissimilar. The proposed latent-augmented contrastive loss is well compatible with various cGAN architectures. Extensive experiments demonstrate that the proposed DivCo can produce more diverse images than state-of-the-art methods without sacrificing visual quality in multiple unpaired and paired image generation tasks.

研究动机与目标

• 为解决条件 GAN 中的模式崩溃问题，该问题尽管使用了潜在码，仍限制了图像生成的多样性。
• 通过建模不同潜在码生成图像之间的正（相似）关系与负（不相似）关系，提升生成多样性。
• 开发一种与多种 cGAN 架构兼容的方法，无需进行架构修改。
• 实现条件输入与潜在码影响之间的更好解耦，避免对任一方产生偏差。

提出的方法

• 提出一种新颖的潜在增强对比损失，将来自邻近潜在码生成的图像视为‘正’样本对，将来自远距离潜在码生成的图像视为‘负’样本对。
• 以查询潜在码为中心构建超球体以定义正样本，正样本位于球体内，负样本位于球体外。
• 在生成图像的特征空间中应用对比学习，促使正样本对在特征上相似，负样本对在特征上相异。
• 将对比损失作为正则化项整合到标准 cGAN 目标中，保持与现有架构的兼容性。
• 采用温度缩放的对比损失以稳定训练并提升特征判别能力。
• 该框架被应用于无配对与配对图像翻译任务，以及类别条件图像生成任务。

实验结果

研究问题

• RQ1 建模生成图像之间的正负关系是否能提升条件图像生成的多样性？
• RQ2 在定义正负样本对时引入潜在码距离信息，对缓解模式崩溃有何影响？
• RQ3 对比学习能否在不修改网络架构的前提下有效适配于条件图像生成？
• RQ4 在多个数据集与设置下，该方法在图像质量与多样性方面与现有方法相比表现如何？

主要发现

• 在 CIFAR-10 上，DivCo 的 Fréchet Inception Distance (FID) 达到最低值 25.21 ± 0.20，优于 DCGAN (28.34 ± 0.12) 与 MSGAN (27.09 ± 0.14) 在类别条件图像生成任务中的表现。
• 在 Cityscapes 与 Winter2Summer 数据集上，DivCo 生成的图像多样性显著优于 DRIT 与 MSGAN，如定性对比图中红叉所示。
• 敏感性分析表明，对比损失权重（λ_contra）的最佳值为 1；当其超过 3 时，性能急剧下降，原因在于对真实感的过度惩罚。
• 该方法在保持高视觉质量的同时实现了更优的多样性，FID 指标与用户调研结果均证实了这一点。
• 超球体半径（R）具有显著影响：过大或过小的值均会降低性能，表明需仔细调整超参数。
• 温度超参数 τ 必须仔细设置；过高或过低的值均会降低性能，显示出对这一缩放因子的敏感性。