[논문 리뷰] ChatHouseDiffusion: Prompt-Guided Generation and Editing of Floor Plans

Sizhong Qin, Chengyu He외 5명|arXiv (Cornell University)|2024. 10. 15.

Model-Driven Software Engineering Techniques인용 수 4

한 줄 요약

ChatHouseDiffusion는 자연어 이해를 위한 대규모 언어 모델(LLM), 구조적 위상 인코딩을 위한 Graphormer, 고해상도 레이아웃 합성을 위한 확산 모델을 통합한 새로운 상호작용형 평면도 생성 및 편집 프레임워크를 제안한다. 이는 프롬프트 유도 보정을 통한 반복적이고 국소적인 편집을 가능하게 하여, 단일 스텝 또는 비상호작용 방법에 비해 더 높은 IoU 점수를 기록하고 설계의 유연성과 효율성을 크게 향상시킨다.

ABSTRACT

The generation and editing of floor plans are critical in architectural planning, requiring a high degree of flexibility and efficiency. Existing methods demand extensive input information and lack the capability for interactive adaptation to user modifications. This paper introduces ChatHouseDiffusion, which leverages large language models (LLMs) to interpret natural language input, employs graphormer to encode topological relationships, and uses diffusion models to flexibly generate and edit floor plans. This approach allows iterative design adjustments based on user ideas, significantly enhancing design efficiency. Compared to existing models, ChatHouseDiffusion achieves higher Intersection over Union (IoU) scores, permitting precise, localized adjustments without the need for complete redesigns, thus offering greater practicality. Experiments demonstrate that our model not only strictly adheres to user specifications but also facilitates a more intuitive design process through its interactive capabilities.

연구 동기 및 목표

• 기존의 평면도 생성 방법이 완전한 입력 사양을 요구하고 반복적이고 국소적인 편집을 지원하지 못하는 유연성 부족 문제를 해결하기 위해.
• 사용자가 전체 재설계 없이 자연어 피드백을 통해 레이아웃을 보완할 수 있도록 설계 효율성을 향상시키기 위해.
• 사용자 의도의 의미적 이해를 위해 LLM을 통합하고, 구조적 위상 모델링을 위해 Graphormer를 활용하며, 고품질 레이아웃 생성을 위해 확산 모델을 통합하기 위해.
• 확산 과정에서 어텐션 맵을 수정하여 특정 영역에 집중함으로써 전체 레이아웃을 다시 생성하지 않고도 정밀한 수정을 가능하게 하기 위해.
• 사용자의 입력이 진화하거나 불완전한 상태여도 반복적 보완을 통해 실용적이고 사용자 친화적인 설계 파이프라인을 구축하기 위해.

제안 방법

• OpenAI API를 통해 액세스하는 대규모 언어 모델(LLM)을 활용하여 자연어 프롬프트를 유형, 크기, 위치, 연결성 등을 포함한 구조화된 JSON 형식의 실내 공간 사양으로 해석한다.
• 실내 공간 간의 위상적 관계를 실내 연결성과 공간적 위치의 그래프 표현을 통해 Graphormer로 인코딩한다.
• 구조화된 입력에서 고해상도 평면도(64×64)를 생성하기 위해 확산 모델을 활용하며, LLM 기반의 구조화된 프롬프트와 그래프 기반 위상 정보를 모두 기반으로 노이즈 제거를 유도한다.
• 확산 모델의 어텐션 맵을 수정된 버전으로 교체함으로써 국소적 편집을 가능하게 하여 전체 레이아웃을 다시 생성하지 않고도 정밀한 수정이 가능하다.
• Python의 tkinter 라이브러리를 사용해 GUI를 구현하여 그림 그리기, 텍스트 입력, 시드 기반 재생성, 취소 기능을 지원함으로써 상호작용 설계를 가능하게 한다.
• 사용자 입력과 사전 정의된 JSON 스키마를 결합한 프롬프트 엔지니어링 전략을 사용하여 LLM의 출력이 일관되고 유효하도록 보장하며, 실내 유형, 위치, 크기 등에 대해 열거형 유형을 포함한다.

실험 결과

연구 질문

• RQ1 LLM, Graphormer, 확산 모델을 통합한 통합 프레임워크가 불완전하거나 진화하는 자연어 기반 기술서로부터도 민첩하고 상호작용 가능한 평면도 생성을 가능하게 할 수 있는가?
• RQ2 전체 재생성 없이 생성된 평면도에 국소적 편집을 수행할 수 있는가? 이러한 정밀도를 가능하게 하는 메커니즘은 무엇인가?
• RQ3 Graphormer를 통해 유도된 위상적 구조 통합이 기준 방법에 비해 생성된 평면도의 구조적 일관성과 현실성에 얼마나 기여하는가?
• RQ4 기존의 단일 스텝 또는 비상호작용 생성 모델에 비해 제안된 방법이 설계 정확도와 사용자 만족도 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 사용자 피드백에 적응하면서도 반복적인 설계 단계를 거쳐도 고해상도와 일관성을 유지할 수 있는가?

주요 결과

• ChatHouseDiffusion는 기존 모델 대비 더 높은 교차율(Intersection over Union, IoU) 점수를 기록하여 생성된 레이아웃과 진짜 레이아웃 간의 정합도가 뛰어나다는 것을 보여준다.
• 확산 과정에서 어텐션 맵을 수정함으로써 정밀한 국소적 편집이 가능하여 전체 평면도를 다시 생성하지 않고도 특정 영역에만 집중적인 수정이 가능하다.
• 사용자는 부분적 또는 진화하는 자연어 입력을 통해 반복적으로 설계를 보완할 수 있어 설계의 유연성과 효율성이 크게 향상된다.
• 구조화된 JSON 출력과 검증을 통해 사용자가 지정한 제약 조건(실내 유형, 크기, 위치, 연결성 등)을 엄격히 준수한다.
• LLM과 확산 모델, Graphormer의 통합은 더 직관적이고 상호작용 가능한 설계 과정을 가능하게 하여 명시적 입력 사양의 부담을 줄인다.
• 취소 기능, 시드 제어, 프롬프트 메모리 기능을 갖춘 GUI 구현은 사용성을 향상시키고 실용적이고 실시간 설계 워크플로우를 지원한다.