[논문 리뷰] Generative AI Models for Different Steps in Architectural Design: A Literature Review

Chengyuan Li, Tianyu Zhang외 3명|arXiv (Cornell University)|2024. 03. 30.

Architecture and Computational Design인용 수 9

한 줄 요약

한 문장 요약: 2020–2023년부터 6가지 건축 설계 단계 전반에 걸쳐 확산 모델, 3D 생성 모델, 파운데이션 모델을 포함한 생성 AI가 어떻게 적용되는지에 관한 문헌고찰.

ABSTRACT

Recent advances in generative artificial intelligence (AI) technologies have been significantly driven by models such as generative adversarial networks (GANs), variational autoencoders (VAEs), and denoising diffusion probabilistic models (DDPMs). Although architects recognize the potential of generative AI in design, personal barriers often restrict their access to the latest technological developments, thereby causing the application of generative AI in architectural design to lag behind. Therefore, it is essential to comprehend the principles and advancements of generative AI models and analyze their relevance in architecture applications. This paper first provides an overview of generative AI technologies, with a focus on probabilistic diffusion models (DDPMs), 3D generative models, and foundation models, highlighting their recent developments and main application scenarios. Then, the paper explains how the abovementioned models could be utilized in architecture. We subdivide the architectural design process into six steps and review related research projects in each step from 2020 to the present. Lastly, this paper discusses potential future directions for applying generative AI in the architectural design steps. This research can help architects quickly understand the development and latest progress of generative AI and contribute to the further development of intelligent architecture.

연구 동기 및 목표

• 생성 AI 기술이 건축 설계의 다양한 단계(예비 3D 형상, 배치, 구조 시스템, 3D 형상 정제, 파사드, 이미지)에 어떻게 적용되어 혁신과 효율성을 높이는지 탐색한다.
• 2020년부터 2023년까지 AI 모델 사용의 진행과 추세를 분석한다.
• 건축에서 고급 생성 모델의 광범위한 채택을 저해하는 장벽, 데이터 필요성, 학제간 격차를 식별한다.
• 건축에 관련된 기본 AI 개념(GANs, VAEs, diffusion models, 3D 표현, NeRF, 파운데이션 모델)과 그들의 건축 적용에 대해 요약한다.
• 향후 연구 방향과 건축 실무에서의 생성 AI의 실질적 통합을 제안한다.

제안 방법

• Cumincad 및 Web of Science와 같은 데이터베이스를 이용한 2020–2023년 문헌조사를 보강하기 위해 Litmaps를 활용한 연구.
• AI 응용을 설계 산출물에 매핑하기 위해 여섯 가지 건축 설계 단계에 맞춘 구조화된 분석.
• 핵심 생성 AI 원리(GANs, VAEs, diffusion models, Latent Diffusion Models, Voxels, point clouds, meshes, implicit functions 등) 설명.
• 건축과의 관련성을 갖는 Large Language Models와 Large Vision Models를 포함한 파운데이션 모델에 대한 논의.
• 텍스트-이미지, 이미지-텍스트, 교차 모달 기능을 지원하는 이미지, 비디오, 3D 모델 생성을 포함한 대표적 방법(CGANs, pix2pix, DDPM, LDM, NeRF, DreamFusion, DreamCraft3D, CLIP-NeRF) 제공.
• AI의 예비 3D 형상 설계에 대한 실용적 통합을 보여주기 위한 건축 사례 예시(Bo-DAA apartment) 제시

Figure 1 : Examples of architecture design using generative AI techniques: (a) church design [ 1 ] ; (b) matrix of cuboid shapes [ 2 ] ; (c) Frank Gehry’s Walt Disney concert hall [ 3 ] ; (d) Bangkok urban design [ 4 ] ; (e) foresting architecture [ 4 ] ; (f) Urban interiors [ 4 ] and (g) text-to-ar

실험 결과

연구 질문

• RQ1 생성 AI 기법이 여섯 가지 건축 설계 단계 각각에 어떻게 기여하는가?
• RQ2 2D/3D 건축 산출물에 가장 효과적인 모델 계열(GANs/VAEs/diffusion/3D 모델/파운데이션 모델)은 무엇이며 그 이유는 무엇인가?
• RQ3 건축 실무에서 채택을 저해하는 주요 전문적 장벽과 데이터 관련 문제는 무엇인가?
• RQ4 건축에 생성 AI를 통합을 촉진할 향후 방향과 연구 경로는 무엇인가?

주요 결과

• 2020–2023년 사이 건축에서 생성 AI에 대한 연구 생산성이 크게 증가하였으며, 대부분의 작업은 건축 계획/설계(배치) 중심이다.
• GANs와 VAEs는 여전히 널리 사용되고 있으며, 확산 모델(DDPM, LDM)과 3D 생성 모델이 점차 통합되어 고품질의 2D/3D 산출물에 대해 더 많이 활용된다.
• 탐구된 3D 표현으로는 보셀(voxels), 포인트 클라우드(point clouds), 메시(meshes), 암시 함수(SDF/UDF/NeRF)가 있으며, 확산 기반 및 신경 암시 방법이 3D 생성에 기여한다.
• 파운데이션 모델(LLMs 및 대형 비전 모델)은 텍스트-이미지, 이미지-텍스트, 교차 모달 기능을 가능하게 하여 건축 작업 흐름을 지원한다.
• 응용은 이미지 생성, 비디오 생성, 3D 모델 생성으로 확장되며 텍스트-투-3D 및 이미지-투-3D 파이프라인과 다단계 정제가 일반적으로 수반된다.
• 도전 과제로는 건축과 컴퓨터과학 간의 전문적 장벽, 비구조적 건축 데이터 및 GPU 자원 요구 등 데이터 관련 문제가 있다.

Figure 2 : Overview of generative AI applications in architectural design: statistics on research paper numbers and generative models.