[论文解读] clip2latent: Text driven sampling of a pre-trained StyleGAN using denoising diffusion and CLIP

Justin N. M. Pinkney, Chuan Li|arXiv (Cornell University)|Oct 5, 2022

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

本文提出 clip2latent，一种通过训练条件扩散模型来为预训练的 StyleGAN 采样潜在向量，从而实现文本到图像生成的方法。该方法使用 CLIP 嵌入作为指导，无需微调或外部图文数据。该方法在极低的训练计算成本下，实现了 1024×1024 高分辨率、高保真度的图像生成，且推理时间少于一秒，与文本提示具有强对齐性。

ABSTRACT

We introduce a new method to efficiently create text-to-image models from a pre-trained CLIP and StyleGAN. It enables text driven sampling with an existing generative model without any external data or fine-tuning. This is achieved by training a diffusion model conditioned on CLIP embeddings to sample latent vectors of a pre-trained StyleGAN, which we call clip2latent. We leverage the alignment between CLIP's image and text embeddings to avoid the need for any text labelled data for training the conditional diffusion model. We demonstrate that clip2latent allows us to generate high-resolution (1024x1024 pixels) images based on text prompts with fast sampling, high image quality, and low training compute and data requirements. We also show that the use of the well studied StyleGAN architecture, without further fine-tuning, allows us to directly apply existing methods to control and modify the generated images adding a further layer of control to our text-to-image pipeline.

研究动机与目标

• 仅使用预训练的 StyleGAN 和 CLIP 实现文本到图像生成，无需微调或外部数据。
• 开发一种条件扩散模型，将 CLIP 文本嵌入映射到 StyleGAN 潜在码以实现图像合成。
• 在计算成本极低且无需标注图文对的情况下，实现高分辨率、高保真度的图像生成。
• 保留 StyleGAN 层次化潜在空间的可控性，以支持下游编辑。
• 证明预训练模型可通过扩散模型连接，构建强大且无需数据的文本到图像生成流水线。

提出的方法

• 训练一个去噪扩散模型，以 CLIP 文本嵌入为条件生成 StyleGAN 潜在码，利用 CLIP 对齐的图文空间。
• 使用 CLIP 冻结的图像和文本编码器对提示进行嵌入，并在无需成对训练数据的情况下引导潜在采样。
• 将扩散模型条件化于 CLIP 的文本嵌入，以生成与语义相关图像相对应的 StyleGAN W 空间潜在码。
• 在推理阶段从扩散模型采样，直接在 StyleGAN 潜在空间中生成高分辨率（1024×1024）图像。
• 利用 StyleGAN 潜在空间的层次结构，通过已知的潜在方向方法实现细粒度编辑。
• 通过设计确保生成的潜在码自然落在 StyleGAN 潜在空间的有效流形内，避免优化方法常见的伪影。

实验结果

研究问题

• RQ1 能否在不使用任何标注图文对的情况下，训练一个条件扩散模型，从 CLIP 文本嵌入生成 StyleGAN 潜在码？
• RQ2 该方法能否实现高分辨率（1024×1024）图像生成，且保真度高、伪影极少？
• RQ3 使用预训练且冻结的 StyleGAN 是否能通过已知的潜在空间方向实现可控图像编辑？
• RQ4 与需要微调或成对数据的现有文本到图像模型相比，该无数据方法的性能如何？
• RQ5 该方法能否推广到非人脸生成模型，如风景风格 GAN？

主要发现

• 该方法从文本提示生成高分辨率（1024×1024）图像，具有高 CLIP 对齐度和极少伪影，感知质量优异。
• 推理速度极快，使用预训练的 StyleGAN 在一秒内生成百万像素级图像。
• 扩散模型的训练完全不依赖任何图文成对数据，仅依赖 CLIP 预先存在的图文嵌入对齐。
• 生成的潜在码自然位于 StyleGAN 的 W 空间有效流形内，可直接通过已知的潜在方向方法（如 InterfaceGAN）实现高质量编辑。
• 该方法可推广至非人脸模型，如在 LHQ 数据集上训练的 256×256 StyleGAN3 风景模型。
• 定性对比显示，与基于优化的潜在反演方法相比，该方法在可编辑性和伪影减少方面表现更优。