[논문 리뷰] Sketch-to-Architecture: Generative AI-aided Architectural Design

Pengzhi Li, Baijuan Li외 1명|arXiv (Cornell University)|2024. 03. 29.

Architecture and Computational Design인용 수 7

한 줄 요약

이 논문은 생성 AI를 활용해 간단한 스케치를 개념적 평면도와 3D 매싱 모델로 변환하는 워크플로를 제시하며, 초기 단계 건축 디자인을 돕기 위한 텍스트 기반 제어와 로컬 편집 기능이 포함됩니다.

ABSTRACT

Recently, the development of large-scale models has paved the way for various interdisciplinary research, including architecture. By using generative AI, we present a novel workflow that utilizes AI models to generate conceptual floorplans and 3D models from simple sketches, enabling rapid ideation and controlled generation of architectural renderings based on textual descriptions. Our work demonstrates the potential of generative AI in the architectural design process, pointing towards a new direction of computer-aided architectural design. Our project website is available at: https://zrealli.github.io/sketch2arc

연구 동기 및 목표

• 새로운 AI 지원 워크플로를 통해 건축 디자인의 초기 단계에서 아이디어 발상을 가속화하고 반복 시간을 줄이는 동기를 제공한다.
• 확산 모델이 스케치와 텍스트 프롬프트로 평면도와 3D 매싱을 생성할 수 있음을 시연한다.
• 텍스트와 마스크를 통해 건축 렌더링의 제어된 생성 및 표적 편집을 가능하게 한다.

제안 방법

• LoRA를 사용하여 확산 기반 모델(Stable Diffusion)을 작업별 평면도 및 매싱 생성에 맞게 파인튜닝한다.
• 평면도 생성 시 정확한 조건부 제어를 위해 ControlNet을 적용한다.
• 생성된 평면도에서 깊이 맵을 추정하고 이를 Rhino/Grasshopper 기반의 3D 포인트 클라우드와 메시에로 변환한다.
• 텍스트 기반 생성을 안내하고 마스크를 통한 반복 편집을 용이하게 하기 위해 핵심 건축 설계 용어를 추출한다.

Figure 1: We explore how generative AI technology can be effectively utilized in the early phases of architectural design.

실험 결과

연구 질문

• RQ1 생성 AI 워크플로가 단순한 스케치로부터 일관된 평면도와 3D 매싱 모델을 생성할 수 있는가?
• RQ2 텍스트 프롬프트와 설계 용어 추출이 건축 생성 및 편집을 어떻게 제어할 수 있는가?
• RQ3 미세 조정과 조건부 제어를 사용하여 확산 기반 방법을 건축 디자인 작업에 어느 정도까지 적응시킬 수 있는가?
• RQ4 렌더링 가능한 건축 디자인을 생성하는 데 하이브리드 파이프라인(확산 모델 + 깊이 추정 + Rhino/Grasshopper 스크립트)의 역할은 무엇인가?

주요 결과

• 확산 모델, LoRA 파인튜닝 및 ControlNet을 결합한 워크플로는 스케치로부터 평면도와 3D 매싱을 생성할 수 있다.
• 생성된 평면도의 깊이 추정은 Rhino/Grasshopper에서 3D 재구성을 가능하게 하여 다각도에서의 입면을 생성한다.
• 텍스트 프롬프트와 건축 설계 요소는 렌더링의 제어 가능한 생성 및 편집을 가능하게 한다.
• 마스크 기반 로컬 편집은 전체 설계를 보존하면서 영역별 수정(재료, 요소, 구조)을 가능하게 한다.
• 이 접근법은 초기 설계 단계에서 텍스트 설명으로 제어되는 건축 렌더링의 엔드-투-엔드 생성을 가능하게 한다.

Figure 2: We present the workflow of AI-generated architectural design.