[论文解读] Generative AI Models for Different Steps in Architectural Design: A Literature Review

Chengyuan Li, Tianyu Zhang+3 more|arXiv (Cornell University)|Mar 30, 2024

Architecture and Computational Design被引用 9

一句话总结

对生成性AI的文献综述，包括扩散模型、3D生成模型和基础模型，在2020–2023年跨越六个建筑设计步骤中的应用。

ABSTRACT

Recent advances in generative artificial intelligence (AI) technologies have been significantly driven by models such as generative adversarial networks (GANs), variational autoencoders (VAEs), and denoising diffusion probabilistic models (DDPMs). Although architects recognize the potential of generative AI in design, personal barriers often restrict their access to the latest technological developments, thereby causing the application of generative AI in architectural design to lag behind. Therefore, it is essential to comprehend the principles and advancements of generative AI models and analyze their relevance in architecture applications. This paper first provides an overview of generative AI technologies, with a focus on probabilistic diffusion models (DDPMs), 3D generative models, and foundation models, highlighting their recent developments and main application scenarios. Then, the paper explains how the abovementioned models could be utilized in architecture. We subdivide the architectural design process into six steps and review related research projects in each step from 2020 to the present. Lastly, this paper discusses potential future directions for applying generative AI in the architectural design steps. This research can help architects quickly understand the development and latest progress of generative AI and contribute to the further development of intelligent architecture.

研究动机与目标

• 探讨在不同建筑设计步骤（初步3D形态、平面布置、结构系统、3D形态精炼、立面和形象/图像）中生成性AI技术的应用，以提升创新性和效率。
• 分析2020年至2023年建筑领域中AI模型使用的演变与趋势。
• 识别阻碍高级生成模型在建筑领域广泛应用的障碍、数据需求和跨学科差距。
• 总结与建筑相关的基础AI概念（GAN、VAE、扩散模型、3D表示、NeRF和基础模型）及其在建筑中的应用。
• 提出未来研究方向以及将生成性AI在建筑实践中实际整合的路径。

提出的方法

• 对2020–2023年的文献进行综述，使用Cumincad、Web of Science等数据库，并辅以Litmaps。
• 围绕六个建筑设计步骤进行结构化分析，以把AI应用映射到设计产出。
• 解释核心生成性AI原理（GAN、VAE、扩散模型、潜在扩散模型、3D表示如体素、点云、网格和隐式函数）。
• 讨论基础模型，包括大型语言模型和大型视觉模型及其与建筑的相关性。
• 展示在图像、视频和3D模型生成方面的应用，包括代表性方法（如CGAN、pix2pix、DDPM、LDM、NeRF、DreamFusion、DreamCraft3D、CLIP-NeRF）。
• 举例一个建筑案例（Bo-DAA公寓）来展示AI在初步3D形态设计中的实际整合。

Figure 1 : Examples of architecture design using generative AI techniques: (a) church design [ 1 ] ; (b) matrix of cuboid shapes [ 2 ] ; (c) Frank Gehry’s Walt Disney concert hall [ 3 ] ; (d) Bangkok urban design [ 4 ] ; (e) foresting architecture [ 4 ] ; (f) Urban interiors [ 4 ] and (g) text-to-ar

实验结果

研究问题

• RQ1 生成性AI技术在六个建筑设计步骤中的各自贡献是什么？
• RQ2 哪些模型家族（GAN/VAEs/扩散/3D模型/基础模型）对2D/3D建筑输出最有效，原因是什么？
• RQ3 在建筑实践中阻碍应用的主要专业障碍和数据相关挑战是什么？
• RQ4 哪些未来方向与研究路径可以推动生成性AI在建筑中的整合？

主要发现

• 从2020–2023年，建筑中生成性AI的研究产出显著增长，大多数工作集中在建筑平面/设计（布局）。
• GAN和VAE仍被广泛使用，而扩散模型（DDPM、LDM）和3D生成模型的整合日益增加，特别是用于更高质量的2D/3D输出。
• 探索的3D表示包括体素、点云、网格和隐式函数（SDF/UDF/NeRF），通过基于扩散和神经隐式方法提升了3D生成。
• 基础模型（LLMs和大型视觉模型）使文本到图像、图像到文本和跨模态能力成为可能，支持建筑工作流程。
• 应用涵盖图像生成、视频生成和3D模型生成，包括文本到3D和图像到3D的 pipelines，通常带有多阶段精炼过程。
• 挑战包括建筑与计算机科学之间的专业性障碍，以及数据相关问题，如非结构化建筑数据和GPU资源需求。

Figure 2 : Overview of generative AI applications in architectural design: statistics on research paper numbers and generative models.