[论文解读] ChatHouseDiffusion: Prompt-Guided Generation and Editing of Floor Plans

Sizhong Qin, Chengyu He+5 more|arXiv (Cornell University)|Oct 15, 2024

Model-Driven Software Engineering Techniques被引用 4

一句话总结

ChatHouseDiffusion 提出了一种新颖的、交互式的平面图生成与编辑框架，该框架整合了大型语言模型（LLMs）以实现自然语言理解，使用 Graphormer 进行拓扑编码，并利用扩散模型实现高保真度的布局生成。该方法通过提示引导的迭代式、局部化优化，实现了更高的 IoU 分数，并显著提升了设计的灵活性与效率，相较于单步或非交互式方法具有明显优势。

ABSTRACT

The generation and editing of floor plans are critical in architectural planning, requiring a high degree of flexibility and efficiency. Existing methods demand extensive input information and lack the capability for interactive adaptation to user modifications. This paper introduces ChatHouseDiffusion, which leverages large language models (LLMs) to interpret natural language input, employs graphormer to encode topological relationships, and uses diffusion models to flexibly generate and edit floor plans. This approach allows iterative design adjustments based on user ideas, significantly enhancing design efficiency. Compared to existing models, ChatHouseDiffusion achieves higher Intersection over Union (IoU) scores, permitting precise, localized adjustments without the need for complete redesigns, thus offering greater practicality. Experiments demonstrate that our model not only strictly adheres to user specifications but also facilitates a more intuitive design process through its interactive capabilities.

研究动机与目标

• 解决现有平面图生成方法存在的僵化问题，这些方法需要完整的输入规格且缺乏对迭代式、局部化编辑的支持。
• 通过允许用户利用自然语言反馈对布局进行细化，而无需完全重做，从而提升设计效率。
• 整合 LLM 以理解用户意图的语义信息，使用 Graphormer 建模结构化拓扑关系，利用扩散模型实现高质量的布局生成。
• 通过修改扩散过程中的注意力图，实现精确的局部编辑，从而在不重新生成整个布局的前提下实现针对性调整。
• 构建一个实用且用户友好的设计流程，通过迭代式优化适应不断变化或不完整的用户输入。

提出的方法

• 通过 OpenAI API 调用大型语言模型（LLM），将自然语言提示解析为包含类型、尺寸、位置和连接关系的结构化 JSON 格式房间规格。
• 采用 Graphormer，基于房间连接关系和空间位置的图表示，对房间之间的拓扑关系进行编码。
• 利用扩散模型从结构化输入生成高分辨率平面图（64×64），去噪过程同时受 LLM 结构化提示和基于图的拓扑信息引导。
• 通过将扩散模型中的注意力图替换为经过修改的版本，实现局部编辑，从而在不重新生成整个布局的前提下实现精确修改。
• 使用 Python 的 tkinter 库构建图形用户界面（GUI），支持绘图、文本输入、基于随机种子的再生以及撤销功能，以实现交互式设计。
• 采用提示工程策略，将用户输入与预定义的 JSON 模式结合，确保 LLM 输出的一致性与有效性，包括对房间类型、位置和尺寸的枚举类型定义。

实验结果

研究问题

• RQ1 一个统一框架，结合 LLM、Graphormer 和扩散模型，是否能够实现从不完整或动态变化的自然语言描述中灵活、交互式地生成平面图？
• RQ2 在不完全重新生成的前提下，对生成的平面图进行局部编辑的效率如何？其精度由哪些机制保障？
• RQ3 与基线方法相比，通过 Graphormer 集成的拓扑结构信息在多大程度上提升了生成平面图的结构一致性和真实性？
• RQ4 与现有单步或非交互式生成模型相比，该方法在设计准确率和用户满意度方面表现如何？
• RQ5 在多个迭代设计步骤中，系统能否在适应用户反馈的同时保持高保真度与一致性？

主要发现

• ChatHouseDiffusion 的交并比（IoU）得分高于现有模型，表明生成布局与真实布局的对齐程度更高。
• 通过修改扩散过程中的注意力图，模型支持精确的局部编辑，实现在不重新生成整个平面图的前提下实现针对性调整。
• 用户可使用部分或动态变化的自然语言输入，通过迭代方式不断优化设计，显著提升设计灵活性与效率。
• 系统严格遵守用户指定的约束条件，包括房间类型、尺寸、位置和连接关系，经由结构化 JSON 输出与验证得以确认。
• LLM 与扩散模型及 Graphormer 的集成，使设计过程更加直观与交互化，降低了对显式输入规格的依赖。
• 集成有撤销功能、随机种子控制和提示记忆的 GUI 实现，显著提升了系统可用性，并支持实际的实时设计工作流。