Skip to main content
QUICK REVIEW

[论文解读] LayoutGPT: Compositional Visual Planning and Generation with Large Language Models

Weixi Feng, Wanrong Zhu|arXiv (Cornell University)|May 24, 2023
Multimodal Machine Learning ApplicationsComputer Science被引用 51
一句话总结

LayoutGPT 使用类似 CSS 的在上下文提示,将 LLMs 转变为可视规划者,生成二维布局和三维室内场景布局,在与区域控制的图像生成模型搭配时可提高保真度和效率。

ABSTRACT

Attaining a high degree of user controllability in visual generation often requires intricate, fine-grained inputs like layouts. However, such inputs impose a substantial burden on users when compared to simple text inputs. To address the issue, we study how Large Language Models (LLMs) can serve as visual planners by generating layouts from text conditions, and thus collaborate with visual generative models. We propose LayoutGPT, a method to compose in-context visual demonstrations in style sheet language to enhance the visual planning skills of LLMs. LayoutGPT can generate plausible layouts in multiple domains, ranging from 2D images to 3D indoor scenes. LayoutGPT also shows superior performance in converting challenging language concepts like numerical and spatial relations to layout arrangements for faithful text-to-image generation. When combined with a downstream image generation model, LayoutGPT outperforms text-to-image models/systems by 20-40% and achieves comparable performance as human users in designing visual layouts for numerical and spatial correctness. Lastly, LayoutGPT achieves comparable performance to supervised methods in 3D indoor scene synthesis, demonstrating its effectiveness and potential in multiple visual domains.

研究动机与目标

  • 使大型语言模型能够从文本条件为 2D 和 3D 生成计划可视布局。
  • 通过以语言驱动的布局规划替代细粒度输入来降低用户工作量。
  • 展示在上下文演示和 CSS 风格提示中注入视觉常识到 LLMs 中。
  • 在 2D T2I 和 3D 室内场景合成中基准化布局的忠实度和图像/场景质量。
  • 展示在 3D 室内场景任务中与最先进的有监督方法的竞争力。

提出的方法

  • 将布局表示为以 CSS 类格式的结构化程序,以便为 LLM 明确空间含义。
  • 在前置任务指令并将数值归一化到一致的尺度(最大 256px)以帮助学习。
  • 通过相似性选择上下文中的示例(2D 提示基于 CLIP;3D 通过房间大小差异)并以逆序呈现示例。
  • 将 LLM 生成的布局与下游的布局到图像或 3D 场景渲染模型结合,生成最终视觉效果。
  • 通过预测家具的类别、位置、尺寸和方向来扩展框架到 3D 室内场景合成,随后进行渲染。
Figure 1 : Generated layouts from LayoutGPT in 2D images and 3D indoor scenes. LayoutGPT can serve as a visual planner to reflect challenging numerical and spatial concepts in visual spaces.
Figure 1 : Generated layouts from LayoutGPT in 2D images and 3D indoor scenes. LayoutGPT can serve as a visual planner to reflect challenging numerical and spatial concepts in visual spaces.

实验结果

研究问题

  • RQ1在受 CSS 风格布局引导的情况下,LLMs 是否能够从文本提示中生成忠实的对象数量和空间关系?
  • RQ2与纯文本提示相比,上下文中的 CSS 结构化提示是否提高布局保真度和下游图像质量?
  • RQ3LayoutGPT 无需微调就能从 2D 图像布局扩展到 3D 室内场景合成的能力有多大?
  • RQ4任务指令、CSS 格式化和数值归一化对 2D 和 3D 任务的布局准确性有何影响?

主要发现

  • LayoutGPT 在 2D 生成的 GLIP 基于布局的准确性方面比端到端文本到图像模型高出 20-40%。
  • LayoutGPT 在数值和空间正确性方面与人类生成的布局相当。
  • 在卧室和客厅场景的平均指标(如 FID、越界等)上,LayoutGPT 在 3D 室内场景合成中获得与有监督方法相比具竞争力或更优的结果。
  • 消融研究表明,CSS 格式的上下文演示和归一化对布局保真度至关重要,CSS 提供了显著的好处。
  • LayoutGPT 在密集布局、基于文本的修复以及反事实提示等方面表现出强健的性能,表明具备较强的视觉常识和泛化能力。
Figure 2 : The overview process of our LayoutGPT framework performing 2D layout planning for text-conditioned image generation or 3D layout planning for scene synthesis.
Figure 2 : The overview process of our LayoutGPT framework performing 2D layout planning for text-conditioned image generation or 3D layout planning for scene synthesis.

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。