[论文解读] Automating Computational Design with Generative AI

Joern Ploennigs, Markus Berger|arXiv (Cornell University)|Jul 5, 2023

Music and Audio Processing被引用 5

一句话总结

本文通过引入语义编码，提出增强扩散模型在建筑设计中的计算设计应用，以提高生成平面图的有效性。通过使用结构化语义提示微调文本到图像的扩散模型，作者将平面图的有效性从6%提升至90%，显著推进了实用化AI辅助建筑设计的发展，同时指出了未来需要开发基于BIM原生的扩散模型。

ABSTRACT

AI image generators based on diffusion models have recently garnered attention for their capability to create images from simple text prompts. However, for practical use in civil engineering they need to be able to create specific construction plans for given constraints. This paper investigates the potential of current AI generators in addressing such challenges, specifically for the creation of simple floor plans. We explain how the underlying diffusion-models work and propose novel refinement approaches to improve semantic encoding and generation quality. In several experiments we show that we can improve validity of generated floor plans from 6% to 90%. Based on these results we derive future research challenges considering building information modelling. With this we provide: (i) evaluation of current generative AIs; (ii) propose improved refinement approaches; (iii) evaluate them on various examples; (iv) derive future directions for diffusion models in civil engineering.

研究动机与目标

• 评估扩散模型在设计约束条件下生成有效建筑平面图的能力。
• 识别当前基于图像的扩散模型在计算设计中的局限性，特别是语义理解与结构有效性的不足。
• 提出并测试改进的语义编码技术，以提升扩散模型的生成质量和有效性。
• 探索将建筑信息模型（BIM）数据直接整合到扩散模型中的可行性与需求，以实现未来的语义感知设计自动化。
• 为扩散模型在土木工程中的未来发展提供研究方向，强调从基于图像的生成向BIM原生生成的转变。

提出的方法

• 使用包含平面图与描述空间布局、房间类型及连接关系的结构化语义文本提示的自定义数据集，对文本到图像的扩散模型（如Stable Diffusion）进行微调。
• 通过基于层次结构的描述（如房间、墙体、区域）实现多尺度语义编码，将扩散过程条件化。
• 使用分层图结构表示BIM模型，以在扩散过程中保持语义与结构关系。
• 在多个分辨率层级上训练模型以逆转噪声添加过程，同时利用语义标签指导去噪步骤，以维持设计的有效性。
• 通过定性评估与定量指标（如平面图有效性与结构一致性）评估模型性能。
• 提出一种多层图神经网络（GNN）架构，用于在不同抽象层次上表示BIM模型，实现可扩散的、语义感知的生成。

(a) Step 1

实验结果

研究问题

• RQ1 扩散模型能否通过有效微调生成结构有效且语义有意义的平面图？
• RQ2 与标准文本提示相比，语义编码在提升生成平面图的有效性与一致性方面有何改进？
• RQ3 当前基于图像的扩散模型在建筑计算设计中存在哪些关键局限性？
• RQ4 在多大程度上可将BIM数据整合到扩散模型中，以保持语义与结构完整性？
• RQ5 开发用于自动化设计的BIM原生扩散模型，其必要的建筑与数据要求是什么？

主要发现

• 通过语义提示对扩散模型进行微调，使生成平面图的有效性从6%提升至90%。
• 所提出的语义编码方法在生成结构连贯且语义准确的平面图方面，显著优于标准文本提示。
• 当前基于图像的扩散模型在语义理解方面存在困难，导致尽管视觉质量高，但生成的空间布局仍可能无效或无意义。
• 将BIM模型栅格化以用于基于图像的扩散模型，会造成语义与分层结构的损失，降低模型有效性。
• 多尺度、基于图的扩散模型架构是一条有前景的前进路径，可利用BIM的分层特性实现更精确且有意义的设计生成。
• 未来研究必须聚焦于开发BIM原生扩散模型，以保持语义关系并实现直接、结构化的自动设计生成。

(b) Step 2