[论文解读] Interactive Design by Integrating a Large Pre-Trained Language Model and Building Information Modeling

Suhyung Jang, Ghang Lee|arXiv (Cornell University)|Jun 25, 2023

3D Surveying and Cultural Heritage被引用 7

一句话总结

本文提出了一种新颖的框架，将大型语言模型（LLMs）与建筑信息模型（BIM）相结合，以实现交互式建筑设计。通过将BIM数据转换为XML，利用GPT进行意图感知的设计优化，并重新转换为BIM，该系统实现了动态的AI辅助设计迭代，在基于Revit的案例研究中展示了有效的人机协作。

ABSTRACT

This study explores the potential of generative artificial intelligence (AI) models, specifically OpenAI's generative pre-trained transformer (GPT) series, when integrated with building information modeling (BIM) tools as an interactive design assistant for architectural design. The research involves the development and implementation of three key components: 1) BIM2XML, a component that translates BIM data into extensible markup language (XML) format; 2) Generative AI-enabled Interactive Architectural design (GAIA), a component that refines the input design in XML by identifying designer intent, relevant objects, and their attributes, using pre-trained language models; and 3) XML2BIM, a component that converts AI-generated XML data back into a BIM tool. This study validated the proposed approach through a case study involving design detailing, using the GPT series and Revit. Our findings demonstrate the effectiveness of state-of-the-art language models in facilitating dynamic collaboration between architects and AI systems, highlighting the potential for further advancements.

研究动机与目标

• 为了利用大规模预训练语言模型实现实时、交互式的建筑设计辅助。
• 为了弥合自然语言设计意图与结构化BIM数据之间的语义鸿沟。
• 为了开发BIM与LLMs之间的双向数据管道，以实现设计的迭代优化。
• 为了验证LLMs作为建筑工作流中协作设计伙伴的可行性和有效性。

提出的方法

• BIM2XML将BIM模型数据转换为可扩展标记语言（XML）格式，以支持机器处理。
• GAIA利用预训练语言模型（如GPT）来理解自然语言输入，识别相关设计对象，并根据设计师的意图调整属性。
• 该系统处理自然语言形式的设计描述，并通过语义解析和上下文建模将这些描述映射到特定的BIM元素。
• XML2BIM将AI生成的XML转换回本机BIM格式，实现与Autodesk Revit等工具的无缝集成。
• 该数据管道通过支持人机设计师与基于LLM的助手之间的持续反馈，实现了设计的迭代循环。
• 该框架使用GPT-3.5和Revit实现并测试，证明了端到端的互操作性。

实验结果

研究问题

• RQ1 大型语言模型是否能有效理解并响应BIM环境中的自然语言设计指令？
• RQ2 LLMs在模糊或描述性设计提示中，能否准确识别相关建筑构件及其属性？
• RQ3 BIM与XML之间的双向转换在多大程度上能够保持设计语义和结构完整性？
• RQ4 LLMs的集成在多大程度上提升了建筑设计工作流程的效率和交互性？
• RQ5 在实际建筑实践中部署此类系统时，存在哪些实际限制和挑战？

主要发现

• 该系统成功利用基于GPT的推理，将自然语言设计指令精确转换为BIM模型修改。
• BIM2XML和XML2BIM组件在数据转换过程中保持了结构和语义的保真度，实现了可靠的模型重建。
• 设计师通过使用对话式提示修改复杂的BIM构件，显著缩短了迭代周期，减少了手动建模时间。
• 该框架在从模糊或依赖上下文的设计描述中准确识别相关对象和属性方面表现出稳健性能。
• 案例研究证实，当LLMs与BIM数据管道正确集成时，可作为高效的交互式设计助手。