[论文解读] Implementing and Experimenting with Diffusion Models for Text-to-Image Generation

Robin Zbinden|arXiv (Cornell University)|Sep 22, 2022

Computational Physics and Python Applications被引用 4

一句话总结

本文提出了一种轻量级、公开可用的文本到图像扩散模型实现，受 DALL-E 2 启发，在显著降低计算成本的同时实现了高质量的图像生成。该工作引入了一种新颖的图像引导方法，提升了图像质量和对齐度，使在低资源环境下的有效实验成为可能，同时提供了比以往工作更深入的消融研究与分析。

ABSTRACT

Taking advantage of the many recent advances in deep learning, text-to-image generative models currently have the merit of attracting the general public attention. Two of these models, DALL-E 2 and Imagen, have demonstrated that highly photorealistic images could be generated from a simple textual description of an image. Based on a novel approach for image generation called diffusion models, text-to-image models enable the production of many different types of high resolution images, where human imagination is the only limit. However, these models require exceptionally large amounts of computational resources to train, as well as handling huge datasets collected from the internet. In addition, neither the codebase nor the models have been released. It consequently prevents the AI community from experimenting with these cutting-edge models, making the reproduction of their results complicated, if not impossible. In this thesis, we aim to contribute by firstly reviewing the different approaches and techniques used by these models, and then by proposing our own implementation of a text-to-image model. Highly based on DALL-E 2, we introduce several slight modifications to tackle the high computational cost induced. We thus have the opportunity to experiment in order to understand what these models are capable of, especially in a low resource regime. In particular, we provide additional and analyses deeper than the ones performed by the authors of DALL-E 2, including ablation studies. Besides, diffusion models use so-called guidance methods to help the generating process. We introduce a new guidance method which can be used in conjunction with other guidance methods to improve image quality. Finally, the images generated by our model are of reasonably good quality, without having to sustain the significant training costs of state-of-the-art text-to-image models.

研究动机与目标

• 解决当前缺乏对 SOTA 文本到图像模型（如 DALL-E 2 和 Imagen）的公开访问问题，这些模型计算成本高昂且未开源。
• 基于扩散原理实现一个功能完整、可训练的文本到图像模型，其训练成本显著低于现有模型。
• 开展深入的消融研究，分析 CLIP 嵌入在文本到图像生成中的行为特性。
• 提出并评估一种新型图像引导方法，以提升图像质量和文本-图像对齐度。
• 证明在无需 SOTA 模型所要求的巨大计算资源的情况下，仍可实现高质量图像生成。

提出的方法

• 模型使用基于扩散的图像解码器，在经过筛选的、去偏的训练数据集上进行训练，以减少偏差和计算负载。
• 实现了一个 CLIP 转换网络作为简单的多层感知机（MLP），将文本嵌入映射到图像潜在表示，避免了 DALL-E 2 中复杂的先验机制。
• 训练流程利用 CLIP 的文本和图像编码器，通过对比损失将文本提示与图像潜在表示对齐。
• 提出一种新颖的图像引导方法，通过在扩散过程中引入参考图像嵌入作为条件，以提升生成图像的保真度和对齐度。
• 通过在图像解码器、CLIP 转换器和上采样器组件上的消融实验，对完整流程进行评估。
• 实验包括对 CLIP 嵌入语义的定性和定量分析，涵盖对文本和图像嵌入的向量运算操作。

实验结果

研究问题

• RQ1 是否可以实现一种轻量级、公开可用的文本到图像扩散模型，在显著降低计算成本的同时保持高质量的图像生成？
• RQ2 不同组件（如 CLIP 转换器、图像解码器和上采样器）如何影响生成图像的质量和对齐度？
• RQ3 与标准引导技术相比，所提出的图像引导方法在图像质量和文本-图像对齐度方面有何影响？
• RQ4 CLIP 嵌入在多大程度上表现出语义规律性，使其能够支持有意义的向量运算，从而实现内容操控和不同文本与视觉概念的组合？
• RQ5 模型和数据集的缩放如何影响性能？在质量和计算成本之间存在何种权衡？

主要发现

• 所提出的模型在无需 DALL-E 2 或 Imagen 等 SOTA 模型所要求的巨大计算资源的情况下，仍能生成合理高质量的图像。
• 使用简单的 MLP 作为 CLIP 转换器，显著降低了计算成本，相比 DALL-E 2 中的先验模型，性能未受影响。
• 所提出的图像引导方法在与其他引导技术结合使用时，能有效提升图像质量并增强文本-图像对齐度。
• CLIP 嵌入表现出强烈的语义规律性，支持有意义的向量运算，从而实现对内容的操控以及不同文本与视觉概念的组合。
• 消融研究揭示，某些类型的图像更容易生成，且对特定组件（如上采样或 CLIP 转换）的改进可带来可测量的图像质量提升。
• 尽管扩大模型和数据集可提升性能，但收益被计算成本的增加所抵消，凸显了在资源受限环境下的关键权衡。