[论文解读] LayoutLLM-T2I: Eliciting Layout Guidance from LLM for Text-to-Image Generation

Leigang Qu, Shengqiong Wu+3 more|arXiv (Cornell University)|Aug 9, 2023

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文提出 LayoutLLM-T2I，一种新颖的文本到图像生成框架，利用大规模语言模型（LLMs）从文本提示自动生成语义布局，从而在无需人工指导的情况下实现高保真图像合成。通过采用基于反馈的上下文学习以激发 LLM 的布局规划能力，并结合关系感知的扩散模型进行细粒度图像生成，该方法在 COCO 2014 数据集上实现了布局准确率与图像保真度的最先进性能。

ABSTRACT

In the text-to-image generation field, recent remarkable progress in Stable Diffusion makes it possible to generate rich kinds of novel photorealistic images. However, current models still face misalignment issues (e.g., problematic spatial relation understanding and numeration failure) in complex natural scenes, which impedes the high-faithfulness text-to-image generation. Although recent efforts have been made to improve controllability by giving fine-grained guidance (e.g., sketch and scribbles), this issue has not been fundamentally tackled since users have to provide such guidance information manually. In this work, we strive to synthesize high-fidelity images that are semantically aligned with a given textual prompt without any guidance. Toward this end, we propose a coarse-to-fine paradigm to achieve layout planning and image generation. Concretely, we first generate the coarse-grained layout conditioned on a given textual prompt via in-context learning based on Large Language Models. Afterward, we propose a fine-grained object-interaction diffusion method to synthesize high-faithfulness images conditioned on the prompt and the automatically generated layout. Extensive experiments demonstrate that our proposed method outperforms the state-of-the-art models in terms of layout and image generation. Our code and settings are available at https://layoutllm-t2i.github.io.

研究动机与目标

• 解决文本到图像扩散模型在复杂场景中长期存在的空间错位与关系理解不足问题。
• 通过从文本提示自动生成语义准确的布局，消除对人工引导（如草图或涂鸦）的依赖。
• 通过整合 LLM 驱动的布局规划，赋予扩散模型从粗到细的图像生成能力。
• 通过引入关系感知的扩散模块建模细粒度的物体交互，提升图像保真度。
• 验证基于反馈的上下文学习在激发 LLM 布局推理能力方面的有效性。

提出的方法

• 采用基于反馈的上下文学习策略，提示 LLM（如 GPT-3.5）从文本提示生成粗粒度布局。
• 在 U-Net 架构中引入布局感知的空间变换模块（La-UNet），以有效整合布局与文本特征用于图像生成。
• 提出一种关系感知交互模块，通过建模主语-关系-宾语三元组，增强扩散过程中的空间与语义关系理解。
• 采用两阶段生成流程：首先通过 LLM 生成布局，然后在文本提示与生成布局的联合条件下合成高保真图像。
• 在少样本提示中使用 CLIP 基于的文本相似度进行最近邻示例选择，以提升布局准确率。
• 采用提示编码器分别嵌入输入文本、提取的关系三元组与生成的布局，实现联合建模。

实验结果

研究问题

• RQ1 大规模语言模型能否被有效提示，以从自然语言描述中生成语义与空间一致的布局？
• RQ2 与随机采样或最近邻采样相比，基于反馈的上下文学习在布局生成性能上是否有显著提升？
• RQ3 在文本到图像生成中，引入关系感知的物体交互建模在多大程度上提升了图像保真度？
• RQ4 完全自动化的、无需引导的方法能否超越依赖人工提供布局线索的现有方法？
• RQ5 在该设置下，样本数量（零样本 vs. 少样本）对 LLM 布局规划能力有何影响？

主要发现

• 基于反馈的上下文学习策略显著优于随机采样与最近邻采样，在布局生成任务中实现了最高的 mIoU 与 LaySim 得分。
• 即使在零样本设置下，LLM 也展现出具有竞争力的布局生成性能，表明其具备强大的少样本泛化能力与布局推理的归纳偏置。
• 增加上下文示例数量可提升布局性能，至 4 个样本时达到饱和，表明在适度少样本设置后收益递减。
• 关系感知交互模块显著提升了图像质量，尤其在“语义”与“混合”关系类别中表现突出，凸显其在跨模态理解中的关键作用。
• 定性结果表明，LayoutLLM-T2I 生成的图像在物体位置与关系表达上更加准确，优于 LayoutDM 与基线扩散模型，甚至在复杂场景中超越了真实布局基线。
• 该方法在 COCO 2014 测试集的五个布局类别（数值型、空间型、语义型、复杂型与抽象型）上均达到最先进性能，证实其在多样化提示类型下的鲁棒性。