[论文解读] Harnessing the Spatial-Temporal Attention of Diffusion Models for High-Fidelity Text-to-Image Synthesis

Qiucheng Wu, Yujian Liu+5 more|arXiv (Cornell University)|Apr 7, 2023

Computer Graphics and Visualization Techniques被引用 4

一句话总结

本文提出了一种新颖的文本到图像扩散模型，通过显式控制时空交叉注意力来提升生成图像的保真度。该方法使用布局预测器定义物体区域，并通过可学习的注意力优化器在去噪步骤中动态平衡全局与局部文本注意力，从而在不微调扩散主干网络的前提下，实现与复杂文本描述的最先进对齐效果。

ABSTRACT

Diffusion-based models have achieved state-of-the-art performance on text-to-image synthesis tasks. However, one critical limitation of these models is the low fidelity of generated images with respect to the text description, such as missing objects, mismatched attributes, and mislocated objects. One key reason for such inconsistencies is the inaccurate cross-attention to text in both the spatial dimension, which controls at what pixel region an object should appear, and the temporal dimension, which controls how different levels of details are added through the denoising steps. In this paper, we propose a new text-to-image algorithm that adds explicit control over spatial-temporal cross-attention in diffusion models. We first utilize a layout predictor to predict the pixel regions for objects mentioned in the text. We then impose spatial attention control by combining the attention over the entire text description and that over the local description of the particular object in the corresponding pixel region of that object. The temporal attention control is further added by allowing the combination weights to change at each denoising step, and the combination weights are optimized to ensure high fidelity between the image and the text. Experiments show that our method generates images with higher fidelity compared to diffusion-model-based baselines without fine-tuning the diffusion model. Our code is publicly available at https://github.com/UCSB-NLP-Chang/Diffusion-SpaceTime-Attn.

研究动机与目标

• 为解决文本到图像扩散模型中图像保真度低的问题，特别是物体缺失、属性不匹配和物体位置错误等问题。
• 提升在空间（像素位置）和时间（去噪步骤）维度上的交叉注意力准确性。
• 在不微调扩散模型的前提下，实现对复杂、罕见或不常见文本描述的高保真图像生成。
• 在图像生成过程中，对空间与时间维度上的注意力动态实现显式且可学习的控制。

提出的方法

• 布局预测器生成文本中提及的每个物体的空间区域，区域可来自文本描述或用户输入。
• 通过结合全局文本注意力与预测物体区域内的局部特定物体注意力，重新加权空间注意力。
• 通过允许注意力组合权重在去噪步骤中演化，实现时间注意力控制。
• 使用基于CLIP的目标函数端到端优化注意力权重，以最大化图像与文本之间的对齐度。
• 该方法作为推理时的插件模块运行，保持预训练扩散模型权重不变。
• 优化过程模拟人类绘画过程：先绘制整体布局，再逐步细化细节。

实验结果

研究问题

• RQ1 对交叉注意力实施显式的时空控制，是否能提升文本到图像扩散模型中的图像保真度？
• RQ2 在去噪步骤中动态调整注意力权重，对物体定位和属性一致性有何影响？
• RQ3 该方法能否在不微调扩散模型的前提下，泛化到罕见和复杂的文本描述？
• RQ4 结合全局与局部文本注意力是否能提升物体召回率与空间关系准确性？

主要发现

• 在包含不常见物体对、属性和空间关系的合成数据集上，该方法实现了42.4%的物体召回率和59.6%的空间关系精确率，优于所有基线模型。
• 该方法有效解决了Stable Diffusion及其他基线模型中常见的失败问题，如物体缺失、物体位置错误和属性不匹配。
• 主观评估显示，67.1%的评估人员更倾向于该方法生成的图像，认为其在整体保真度和质量上优于基线。
• 物体中心预测的布局预测器准确性影响整体性能，边缘定位不准的预测会导致物体缺失。
• 将预测的物体区域从图像边缘向内移动可解决失败案例，表明空间定位质量至关重要。