[论文解读] GALIP: Generative Adversarial CLIPs for Text-to-Image Synthesis

Tao Ming, Bing‐Kun Bao+2 more|arXiv (Cornell University)|Jan 30, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

GALIP 提出了一种文本到图像生成框架，该框架在生成器和判别器中均利用 CLIP 模型，实现了高保真度、快速且可控的图像合成。通过结合基于 CLIP 的判别器实现视觉理解与领域泛化能力，以及基于 CLIP 的生成器实现特征对齐，GALIP 仅使用大型自回归模型和扩散模型 3% 的训练数据与 6% 的参数量，便实现了最先进性能，同时实现 120 倍的推理加速与平滑的潜在空间控制。

ABSTRACT

Synthesizing high-fidelity complex images from text is challenging. Based on large pretraining, the autoregressive and diffusion models can synthesize photo-realistic images. Although these large models have shown notable progress, there remain three flaws. 1) These models require tremendous training data and parameters to achieve good performance. 2) The multi-step generation design slows the image synthesis process heavily. 3) The synthesized visual features are difficult to control and require delicately designed prompts. To enable high-quality, efficient, fast, and controllable text-to-image synthesis, we propose Generative Adversarial CLIPs, namely GALIP. GALIP leverages the powerful pretrained CLIP model both in the discriminator and generator. Specifically, we propose a CLIP-based discriminator. The complex scene understanding ability of CLIP enables the discriminator to accurately assess the image quality. Furthermore, we propose a CLIP-empowered generator that induces the visual concepts from CLIP through bridge features and prompts. The CLIP-integrated generator and discriminator boost training efficiency, and as a result, our model only requires about 3% training data and 6% learnable parameters, achieving comparable results to large pretrained autoregressive and diffusion models. Moreover, our model achieves 120 times faster synthesis speed and inherits the smooth latent space from GAN. The extensive experimental results demonstrate the excellent performance of our GALIP. Code is available at https://github.com/tobran/GALIP.

研究动机与目标

• 解决大型自回归模型与扩散模型在文本到图像合成中计算成本高、推理速度慢以及可控性差的问题。
• 利用 CLIP 的预训练视觉理解能力与领域泛化能力，提升图像生成的效率与质量。
• 通过在 GAN 框架中同时集成 CLIP 到生成器与判别器，实现快速、可控且高保真度的图像合成。
• 在保持与大规模模型相当性能的前提下，降低数据与参数需求。
• 建立一个统一的生成框架，充分利用 CLIP 的零样本迁移能力与复杂场景理解能力。

提出的方法

• 提出一种基于 CLIP 的判别器，采用冻结的 CLIP-ViT 图像编码器与可学习的 mate-discriminator（Mate-D），基于多层 CLIP 特征评估图像质量。
• 引入一种基于 CLIP 的生成器，利用桥接特征与提示（prompt）从 CLIP 中引入视觉概念，增强文本与特征之间的对齐。
• 采用提示预测器（PP）动态生成提示，以引导 CLIP 特征，提升特征的相关性，从而改善生成质量。
• 在判别器中使用 CLIP-ViT 的早期与中期层（第 2、5、9 层），以保留细节化的视觉理解，避免晚期层的过度泛化。
• 通过对抗损失端到端训练生成器与判别器，其中 CLIP 特征作为两个组件的监督信号。
• 应用桥接特征预测（BFP）以对齐生成图像与 CLIP 嵌入的文本及视觉特征，提升图像保真度与对齐性。

Figure 1: (a) Existing text-to-image GANs conduct adversarial training from scratch. (b) Our proposed GALIP conducts adversarial training based on the integrated CLIP model.

实验结果

研究问题

• RQ1 将 CLIP 同时集成到生成器与判别器中，是否能提升文本到图像合成的质量，同时降低数据与参数需求？
• RQ2 CLIP 的复杂场景理解能力如何提升判别器在区分真实图像与生成图像方面的性能？
• RQ3 CLIP 的领域泛化能力是否能提升图像生成中的零样本迁移能力与可控性？
• RQ4 使用 CLIP 特征作为中间监督信号，是否能实现比端到端 GAN 更快、更稳定的训练？
• RQ5 在 CLIP-ViT 中，为判别器与生成器组件选择最优层，如何在细节保留与泛化能力之间取得平衡？

主要发现

• GALIP 在 COCO 数据集上实现了 5.85 的 Fréchet Inception Distance（FID），优于基线 GAN（FID：17.31），并达到与最先进模型相当的性能，但资源消耗远低于后者。
• 基于 CLIP 的判别器将 FID 从 17.31 降低至 7.92，同时将 CLIPSIM 从 0.2996 提升至 0.3221，表明图像质量与对齐性显著改善。
• 采用 CLIP 增强的生成器并结合 Bridge-FP 后，FID 进一部降低至 6.52，CLIPSIM 提升至 0.3301，证明了从 CLIP 有效诱导视觉特征的能力。
• 提示预测器（PP）使 FID 降低至 5.85，CLIPSIM 提升至 0.3338，证实动态提示调优可显著提升特征相关性。
• GALIP 的推理速度约为 0.04 秒/张，相比潜在扩散模型（LDM）实现约 120 倍加速，同时仅使用 1200 万张训练图像与 3.2 亿总参数。
• 仅使用大型模型 3% 的训练数据与 6% 的可学习参数，GALIP 在零样本 FID 与 CLIPSIM 指标上达到或超越其性能。

Figure 2: Comparing with Latent Diffusion Models (LDM) [ 35 ] , our GALIP achieves comparable zero-shot Fréchet Inception Distance (ZS-FID) with measly 320M parameters (0.08B trainable parameters + 0.24B frozen CLIP parameters) and 12M training data. Furthermore, our GALIP only requires 0.04s to syn