[논문 리뷰] Automating Computational Design with Generative AI

Joern Ploennigs, Markus Berger|arXiv (Cornell University)|2023. 07. 05.

Music and Audio Processing인용 수 5

한 줄 요약

이 논문은 구조적 의미 인코딩을 도입하여 건축 설계의 계산 기반 설계를 위한 확산 모델을 향상시키는 것을 제안한다. 구조적 의미 프롬프트로 텍스트-이미지 확산 모델을 미세조정함으로써, 생성된 평면도의 타당성을 6%에서 90%로 높였다. 이는 실용적인 인공지능 기반 건축 설계로의 상당한 진전을 보여주며, 향후 BIM 기반 확산 모델의 필요성을 제기한다.

ABSTRACT

AI image generators based on diffusion models have recently garnered attention for their capability to create images from simple text prompts. However, for practical use in civil engineering they need to be able to create specific construction plans for given constraints. This paper investigates the potential of current AI generators in addressing such challenges, specifically for the creation of simple floor plans. We explain how the underlying diffusion-models work and propose novel refinement approaches to improve semantic encoding and generation quality. In several experiments we show that we can improve validity of generated floor plans from 6% to 90%. Based on these results we derive future research challenges considering building information modelling. With this we provide: (i) evaluation of current generative AIs; (ii) propose improved refinement approaches; (iii) evaluate them on various examples; (iv) derive future directions for diffusion models in civil engineering.

연구 동기 및 목표

• 설계 제약 조건 하에서 확산 모델이 타당한 건축 평면도를 생성하는 능력을 평가하는 것.
• 특히 의미 이해와 구조적 타당성 측면에서 현재의 이미지 기반 확산 모델이 계산 기반 설계에서 가지는 한계를 규명하는 것.
• 생성 품질과 타당성을 향상시키기 위해 개선된 의미 인코딩 기법을 제안하고 테스트하는 것.
• 향후 의미 인식 설계 자동화를 위한 빌딩 정보 모델(BIM) 데이터를 직접 확산 모델에 통합할 수 있는 가능성과 요구 조건을 탐색하는 것.
• 이를 위해 확산 모델의 향후 연구 방향을 도출하는 것 — 특히 이미지 기반에서 BIM 기반 생성으로의 전환을 강조한다.

제안 방법

• 평면도와 공간 배치, 방 유형, 연결성에 대한 의미적 텍스트 프롬프트를 함께 제공하는 맞춤형 데이터셋을 사용해 텍스트-이미지 확산 모델(예: Stable Diffusion)을 미세조정하는 것.
• 다중 해상도 의미 인코딩을 구현하여, 방, 벽, 영역 등의 평면도 구성 요소에 대한 구조적이고 계층적인 서술을 기반으로 확산 과정을 조건화하는 것.
• BIM 모델의 계층적 표현을 기반으로 한 그래프 기반 표현 방식을 도입하여, 확산 과정 중 의미적 및 구조적 관계를 유지하는 것.
• 다중 해상도 수준에서 노이즈 추가 과정의 역행을 학습시키며, 의미 레이블이 노이즈 제거 단계를 안내하여 설계 타당성을 유지하는 것.
• 질적 평가와 정량적 지표(예: 평면도 타당성, 구조 일관성)를 통해 모델 성능을 평가하는 것.
• 다층 그래프 신경망(GNN) 아키텍처를 제안하여 BIM 모델을 다양한 추상화 수준에서 표현하고, 확산 가능하고 의미 인식이 가능한 생성을 가능하게 하는 것.

(a) Step 1

실험 결과

연구 질문

• RQ1 확산 모델을 의미 프롬프트로 효과적으로 미세조정하여 구조적으로 타당하고 의미적으로 유의미한 평면도를 생성할 수 있는가?
• RQ2 기본적인 텍스트 프롬프트에 비해 의미 인코딩은 생성된 평면도의 타당성과 일관성에 어떻게 기여하는가?
• RQ3 현재의 이미지 기반 확산 모델이 건축 설계의 계산 기반 설계에서 가지는 주요 한계는 무엇인가?
• RQ4 BIM 데이터를 얼마나 효과적으로 확산 모델에 통합할 수 있는가? 이는 의미적 및 구조적 통합을 유지하는 데 기여하는가?
• RQ5 자동화된 설계를 위한 BIM 기반 확산 모델을 개발하기 위해 필요한 건축적 요구사항과 데이터 요구사항은 무엇인가?

주요 결과

• 의미 프롬프트로 확산 모델을 미세조정함으로써 생성된 평면도의 타당성이 6%에서 90%로 상승했다.
• 제안된 의미 인코딩 방법은 기존의 표준 텍스트 프롬프트보다 구조적으로 일관되고 의미적으로 정확한 평면도 생성에서 뚜렷한 우수성을 보였다.
• 현재의 이미지 기반 확산 모델은 의미 이해에 어려움을 겪어, 높은 시각적 품질을 보이지만 타당하지 않거나 비논리적인 공간 배치를 생성하는 경향이 있다.
• 이미지 기반 확산 모델에 사용하기 위해 BIM 모델을 래스터화하면 의미적 및 계층적 구조가 손실되어 모델의 효과성이 감소한다.
• 다중 해상도, 그래프 기반의 확산 모델 아키텍처는 향후 유망한 방향으로, BIM의 계층적 특성을 활용해 더 정확하고 의미 있는 설계 생성을 가능하게 한다.
• 향후 연구는 의미 관계를 유지하고 직접적인 구조적 설계 생성을 가능하게 하는 BIM 기반 확산 모델 개발에 집중해야 한다.

(b) Step 2