[논문 리뷰] Retrieval-Augmented Sketch-Guided 3D Building Generation

Zhengyang Wang, Nuttapong Rochanavibhata외 4명|arXiv (Cornell University)|2026. 03. 17.

3D Shape Modeling and Analysis인용 수 0

한 줄 요약

일본의 단독 주택을 대상으로 거친 스케치로부터 편집 가능한 구성요소 수준의 3D 건축 모델을 생성하는 다단계 회수 강화 스케치 가이드 프레임워크를 제시한다.

ABSTRACT

In the early design stage of Japanese detached houses, the lack of a unified design representation among clients, sales representatives, and designers leads to design drift and inefficient feedback. Usually, sketches handed off by sales representatives may lose details for quick drawing, which reduces the fidelity of subsequent 3D generation using generative AI models. The generated 3D model typically takes the form of a single unified mesh, preventing component-level editing. To solve these issues, we propose a multi-stage 3D generative design framework capable of producing architectural models from rough design sketches. The framework combines generative and retrieval-based methods to enable component-level editing and personalized customization. It adopts a multimodal representation for 3D model generation and applies component segmentation to localize architectural components such as windows and doors and uses retrieval to support targeted replacement of components. Experiments show that the work enables modular customization which is thought to be suitable for personalized architectural design. This work introduces a multi-stage sketch-to-3D framework for Japanese detached houses, provides facade and component datasets, and shows effectiveness through quantitative and expert evaluations.

연구 동기 및 목표

• 디자인 표현의 통일 부재로 인한 고객, 영업 대표, 디자이너 간 디자인 이탈과 비효율적 피드백 문제 해결.
• 초기 설계 단계에서 사용되는 거친 스케치로부터 고충실도 3D 생성 가능.
• 건축 모델의 구성 요소 수준 편집 및 개인 맞춤형 커스터마이징 허용.
• 건축 부품(예: 창문, 문)을 국지화하기 위한 다중 모달 표현 및 구성 요소 분할 개발.
• 목적 대상 교체 및 모듈식 커스터마이제이션을 지원하는 회수 도입.

제안 방법

• 다단계 스케치-3D 생성 디자인 프레임워크 제안.
• 구성 요소 수준 편집을 지원하기 위해 생성적 방법과 회수 기반 방법을 결합.
• 3D 모델 생성을 위한 다중 모달 표현 사용.
• 창문과 문 같은 건축 요소를 국지화하기 위해 구성 요소 세분화 적용.
• 맞춤화를 가능하게 하는 구성 요소의 대상 교체를 위한 회수 도입.

실험 결과

연구 질문

• RQ1 다단계 프레임워크가 거친 설계 스케치를 편집 가능한 3D 건물 모델로 충실히 변환할 수 있는가?
• RQ2 생성적 기법과 회수 기반 기법의 결합이 구성 요소 수준의 편집과 커스터마이징을 향상시키는가?
• RQ3 다중 모달 표현과 구성 요소 세분화가 건축 부품의 국지화를 위한 대상 검색에 얼마나 효과적인가?
• RQ4 현실적으로 모듈식이고 개인화된 건축 디자인에 이 접근법이 적합한가?
• RQ5 제안된 방법으로 정밀도와 사용성에서의 정량적 및 전문가 평가상의 이득은 무엇인가?

주요 결과

• 실험 결과 이 프레임워크가 개인화된 건축 디자인을 위한 모듈식 커스터마이징을 가능하게 함.
• 본 방법은 구성 요소 수준의 편집과 구성 요소의 대상 교체를 지원한다.
• 외관(파사드) 및 구성 요소 데이터셋이 도입되어 평가에 사용되었다.
• 정량적 및 전문가 평가를 통해 접근법의 효과를 입증했다.