[论文解读] Hierarchical Text-Conditional Image Generation with CLIP Latents

Aditya Ramesh, Prafulla Dhariwal+3 more|arXiv (Cornell University)|Apr 13, 2022

Generative Adversarial Networks and Image Synthesis被引用 2,265

一句话总结

本论文提出了 unCLIP，一种两阶段的文本到图像系统，先通过先验（自回归或扩散）从字幕描述生成 CLIP 图像嵌入，然后用扩散模型从这些嵌入解码图像，在 photorealism 与 GLIDE 相当的前提下实现更高的多样性。它还支持在 CLIP 潜在空间进行图像操作，并展示扩散先验以提高效率。

ABSTRACT

Contrastive models like CLIP have been shown to learn robust representations of images that capture both semantics and style. To leverage these representations for image generation, we propose a two-stage model: a prior that generates a CLIP image embedding given a text caption, and a decoder that generates an image conditioned on the image embedding. We show that explicitly generating image representations improves image diversity with minimal loss in photorealism and caption similarity. Our decoders conditioned on image representations can also produce variations of an image that preserve both its semantics and style, while varying the non-essential details absent from the image representation. Moreover, the joint embedding space of CLIP enables language-guided image manipulations in a zero-shot fashion. We use diffusion models for the decoder and experiment with both autoregressive and diffusion models for the prior, finding that the latter are computationally more efficient and produce higher-quality samples.

研究动机与目标

• 利用 CLIP 表征构建分层文本到图像生成器，将 caption-to-embedding 的先验与 embedding-to-image 的解码分离。
• 引入基于扩散的解码和先验，以提高多样性、效率和高分辨率生成。
• 在 CLIP 空间探索图像变体、插值以及语言引导（text-diff）图像操作等能力。
• 在多样性、真实感和描述对齐方面，与现有文本到图像模型进行比较评估，包括零-shot 的 MS-COCO 性能。

提出的方法

• 训练一个解码器扩散模型，使其反转 CLIP 图像编码器，将嵌入映射到图像，条件为 CLIP 图像嵌入及（可选）文本嵌入。
• 训练先验模型，从 captions y 生成 CLIP 图像嵌入 z_i；使用自回归（AR）或带分类自由引导的扩散先验。
• 对于 AR 先验，使用 PCA（319 个分量）对 z_i 进行压缩，量化到 1024 个桶，并用 Transformer 根据 y 和 z_t 条件预测一个标记序列。
• 对于扩散先验，使用扩散模型对连续的 z_i 进行建模，条件为 y（以及可选的 z_t），直接预测去噪的 z_i。
• 训练两个扩散式上采样器，以 64→256→1024 分辨率生成图像，带目标退化和随机裁剪以稳定训练。
• 在采样时启用引导，以在不崩塌多样性的情况下提高保真度，使用无分类指导的引导和条件随机抹去。

实验结果

研究问题

• RQ1 是否可以将 CLIP 潜在空间有效用作扩散解码器的文本到图像生成的中间表示？
• RQ2 在从字幕生成 CLIP 嵌入时，扩散先验是否在效率和样本质量方面优于自回归先验？
• RQ3 将条件设为 CLIP 嵌入与仅对文本提示进行条件对真实感、描述相似性和多样性的影响？
• RQ4 在零-shot MS-COCO FID 和人工评估中，unCLIP 与 GLIDE 在保真度、描述对齐和多样性方面的对比如何？
• RQ5 来自 CLIP 潜在空间的操作能力有哪些，如变体、插值以及文本驱动的编辑？

主要发现

• 一个两阶段的 unCLIP 模型能够在文本提示驱动下生成多样且真实感强的图像，扩散先验在质量更高、计算量更低方面优于自回归先验。
• 扩散先验在可比的模型规模和训练计算量下，扩散先验在文本到图像生成中优于 AR 先验。
• 使用扩散先验时，模型在 MS-COCO 256×256 FID 为 10.39（零-shot），达到最先进水平，优于许多同代模型。
• 人类评估显示 unCLIP 在真实感方面与 GLIDE 相当，且多样性更好；GLIDE 在描述相似性方面有时略占优势。
• 解码过程中的引导提高两者的美学质量，然而在引导采样下，unCLIP 相比 GLIDE 能更好地维持多样性。