[论文解读] Compositional Visual Generation with Composable Diffusion Models

Nan Liu, Shuang Li+3 more|arXiv (Cornell University)|Jun 3, 2022

Computational and Text Analysis Methods被引用 4

一句话总结

本文提出可组合的扩散模型，将单个扩散模型解释为基于能量的模型（EBM），从而在推理时显式组合多个模型，生成复杂且具有组合结构的图像。通过引入合取（conjunction）与否定（negation）操作符，该方法实现了对训练中未见的对象、关系与属性组合的零样本泛化——在 CLEVR 数据集上，对于三对象组合任务，性能优于基线模型 24.02%。

ABSTRACT

Large text-guided diffusion models, such as DALLE-2, are able to generate stunning photorealistic images given natural language descriptions. While such models are highly flexible, they struggle to understand the composition of certain concepts, such as confusing the attributes of different objects or relations between objects. In this paper, we propose an alternative structured approach for compositional generation using diffusion models. An image is generated by composing a set of diffusion models, with each of them modeling a certain component of the image. To do this, we interpret diffusion models as energy-based models in which the data distributions defined by the energy functions may be explicitly combined. The proposed method can generate scenes at test time that are substantially more complex than those seen in training, composing sentence descriptions, object relations, human facial attributes, and even generalizing to new combinations that are rarely seen in the real world. We further illustrate how our approach may be used to compose pre-trained text-guided diffusion models and generate photorealistic images containing all the details described in the input descriptions, including the binding of certain object attributes that have been shown difficult for DALLE-2. These results point to the effectiveness of the proposed method in promoting structured generalization for visual generation. Project page: https://energy-based-model.github.io/Compositional-Visual-Generation-with-Composable-Diffusion-Models/

研究动机与目标

• 解决现有文本引导扩散模型在理解复杂组合描述（如对象关系与属性绑定）方面的局限性。
• 实现在训练中未见的概念组合下，图像的零样本组合生成。
• 开发一种在推理时组合预训练扩散模型的方法，无需额外微调，且使用显式组合操作符。
• 在涉及多个对象、关系与属性的复杂场景生成中，提升泛化能力与图像质量。
• 展示将扩散模型解释为基于能量的模型，可在视觉生成中实现结构化、可扩展的组合。

提出的方法

• 将训练好的扩散模型解释为基于能量的模型（EBM），通过能量函数组合实现显式组合。
• 引入两种组合操作符：合取（逻辑与）与否定（逻辑非），用于在推理时组合扩散模型。
• 利用基于能量的公式，组合多个扩散模型，每个模型负责特定组件（如对象、属性、关系），并将其能量函数相加组合。
• 将组合后的能量函数应用于去噪扩散采样，生成反映所有指定组件的图像。
• 采用可微分的采样过程，实现无需梯度的端到端图像生成，基于组合模型的能量。
• 利用 GLIDE 和 Stable Diffusion 等预训练模型作为基础组件，实现无需微调的零样本组合。

实验结果

研究问题

• RQ1 能否在推理时使用结构化、可微分的框架组合扩散模型，以生成复杂的视觉组合？
• RQ2 所提方法能否泛化到训练中未见的对象、关系与属性组合？
• RQ3 在组合视觉生成任务中，所组合扩散模型的性能与现有基线相比如何，尤其在准确率与图像质量方面？
• RQ4 该组合方法的失败模式是什么？其与预训练基础模型局限性的关系如何？
• RQ5 该方法能否有效将属性绑定到对象，并在生成图像中保持关系结构？

主要发现

• 在 CLEVR 数据集上，该方法在生成三对象指定位置图像的任务中，准确率比最佳基线高出 24.02%。
• 在对象关系组合任务中，该方法在二分类准确率上优于 StyleGAN2、LACE、GLIDE 和 EBM，且 FID 分数优于 EBM。
• 尽管 EBM 在关系理解方面准确率更高，该方法生成的图像质量更高，表现为更清晰的对象边界与更优的写实感。
• DALL-E 2 和 GLIDE 尽管生成了高质量图像，却未能理解对象关系，凸显其在组合推理方面的关键局限。
• 失败案例主要源于预训练模型未能理解某些概念（如 'person'）、混淆属性（如 'red bear' 与 'bear in a red forest'）或图像中心区域的组合崩溃。
• 该方法在语言、对象、关系与面部属性的未见概念组合上，表现出有效的零样本泛化能力。