[논문 리뷰] Text2BIM: Generating Building Models Using a Large Language Model-based Multi-Agent Framework

Changyu Du, Sebastian Esser외 2명|arXiv (Cornell University)|2024. 08. 15.

BIM and Construction Integration인용 수 6

한 줄 요약

Text2BIM는 자연어를 실행 가능한 코드로 변환하여 Vectorworks에서 편집 가능한 BIM 모델을 생성하는 멀티에이전트 LLM 프레임워크를 활용하며, 규칙 기반 품질 검사와 반복 개선을 수행합니다.

ABSTRACT

The conventional BIM authoring process typically requires designers to master complex and tedious modeling commands in order to materialize their design intentions within BIM authoring tools. This additional cognitive burden complicates the design process and hinders the adoption of BIM and model-based design in the AEC (Architecture, Engineering, and Construction) industry. To facilitate the expression of design intentions more intuitively, we propose Text2BIM, an LLM-based multi-agent framework that can generate 3D building models from natural language instructions. This framework orchestrates multiple LLM agents to collaborate and reason, transforming textual user input into imperative code that invokes the BIM authoring tool's APIs, thereby generating editable BIM models with internal layouts, external envelopes, and semantic information directly in the software. Furthermore, a rule-based model checker is introduced into the agentic workflow, utilizing predefined domain knowledge to guide the LLM agents in resolving issues within the generated models and iteratively improving model quality. Extensive experiments were conducted to compare and analyze the performance of three different LLMs under the proposed framework. The evaluation results demonstrate that our approach can effectively generate high-quality, structurally rational building models that are aligned with the abstract concepts specified by user input. Finally, an interactive software prototype was developed to integrate the framework into the BIM authoring software Vectorworks, showcasing the potential of modeling by chatting. The code is available at: https://github.com/dcy0577/Text2BIM

연구 동기 및 목표

• 자연어로 BIM 모델 생성을 가능하게 하여 BIM 작성의 인지적 부담을 줄인다.
• 전문화된 LLM 에이전트 간의 협력적 추론을 가능하게 하여 구조화되고 실행 가능한 BIM 코드를 생성한다.
• 도메인 지식을 규칙 기반 모델 체커를 통해 통합하여 반복적 모델 품질 향상을 유도한다.
• Text2BIM과 Vectorworks를 통합한 인터랙티브 모델링용 작동 가능한 프로토타입을 시연한다.

제안 방법

• 네 가지 전문 LLM 에이전트(Product Owner, Architect, Programmer, Reviewer)가 협력하여 자연어를 명령형 BIM API 호출로 변환한다.
• Vectorworks API 호출과 도메인 규칙을 캡슐화하는 26개의 고수준 BIM 함수 도구 세트가 코드 생성을 안내한다.
• Architect 프롬프트는 건축 규칙을 사용하여 건축 계획을 생성하고; Product Owner는 지시를 보강하고 Architect와 함수 호출을 통해 조정한다.
• Programmer는 정의된 도구 함수 및 표준 Python 라이브러리만 호출하는 파이썬 코드를 작성한다; 커스텀 인터프리터가 코드를 실행하고 테스트한다.
• 코드 생성, 자기반성, 모델 품질 평가를 규칙 기반 모델 체커와 BCF 보고와 함께 삼중 루프 워크플로우로 결합하여 이슈를 반복적으로 수정한다.
• 메모리 모듈(로컬/글로벌)은 반복 간 맥락을 유지하기 위해 상호 작용 기록을 저장한다.

실험 결과

연구 질문

• RQ1 LLM 기반 다중 에이전트 시스템이 자연어 지시로부터 일관되고 실행 가능한 BIM 코드를 생성할 수 있는가?
• RQ2 건축 규칙과 도메인 지식을 어떻게 통합하여 모델 품질을 개선하고 BIM 표준과의 일관성을 보장할 수 있는가?
• RQ3 규칙 기반 모델 체크와 BCF 기반 피드백이 BIM 모델의 반복적 개선을 어떻게 유도하는가?
• RQ4 Vectorworks 기반 프로토타입이 초기 설계 BIM 생성을 위한 대화형 모델링을 보여주기에 얼마나 효과적인가?

주요 결과

• 프레임워크는 자연어 입력으로 편집 가능한 BIM 모델의 외부 엔벌로프, 내부 배치 및 시맨틱 정보를 생성할 수 있게 한다.
• 규칙 기반 검사기가 있는 다중 에이전트 협업은 여러 피드백 루프를 통해 모델 품질의 반복적 개선을 안내할 수 있다.
• Text2BIM 프레임워크 내에서 세 가지 LLM을 비교하는 실험은 구조적으로 합리적이고 시맨틱적으로 풍부한 모델 생성에서의 성능을 평가한다.
• Vectorworks와의 통합을 보여주는 인터랙티브 프로토타입은 채팅 기반 모델링 워크플로우를 실제로 시연한다.