[论文解读] How Can Large Language Models Help Humans in Design and Manufacturing?

Liane Makatura, Michael Foshey+16 more|arXiv (Cornell University)|Jul 25, 2023

BIM and Construction Integration被引用 24

一句话总结

这篇论文分析了 GPT-4 如何增强整個设计与制造（CDaM）工作流，探索文本到设计、设计空间生成、设计为制造、性能预测和逆向设计，重点关注能力与局限性。

ABSTRACT

The advancement of Large Language Models (LLMs), including GPT-4, provides exciting new opportunities for generative design. We investigate the application of this tool across the entire design and manufacturing workflow. Specifically, we scrutinize the utility of LLMs in tasks such as: converting a text-based prompt into a design specification, transforming a design into manufacturing instructions, producing a design space and design variations, computing the performance of a design, and searching for designs predicated on performance. Through a series of examples, we highlight both the benefits and the limitations of the current LLMs. By exposing these limitations, we aspire to catalyze the continued improvement and progression of these models.

研究动机与目标

• 激励使用大规模语言模型以降低计算设计和制造工作流的门槛。
• 系统地评估 GPT-4 在五个 CDaM 阶段中的任务能力：设计生成、设计空间生成、制造准备、性能评估和逆向设计。
• 确定提示、人工在环反馈和工具链以将 LLM 与现有求解器与可视化工具集成的实用策略。
• 记录 GPT-4 在 CDaM 中的局限性与二元性，以指导未来模型改进和工作流设计。

提出的方法

• 将 CDaM 组件（设计、设计空间、制造指令、性能指标）表示为紧凑程序，以实现输入输出领域特定语言之间的类似 LLM 的翻译。
• 使用 GPT-4 在设计表示（2D 向量、3D 参数化、机器人 URDF/图）和制造过程（CNC、增材/减材）上进行广泛实验。
• 评价文本到设计、文本/设计到设计空间、双向设计-制造、设计到性能以及逆向设计任务。
• 评估提示策略、人工反馈整合和外部工具使用，以有效利用 GPT-4。
• 制作端到端示例（橱柜和四旋翼）以演示在 GPT-4 支持下的实际 CDaM 工作流。

Figure 1 . Opportunities for LLM Integration within the CDaM Workflow. Each technical section of our paper covers opportunities for LLM integration in one of the tasks depicted above: text to design, text/design to design space, bi-directional design for manufacturing, design to performance, and inv

实验结果

研究问题

• RQ1 GPT-4 是否能够在多种建模表示下，从高层目标生成有意义的设计？
• RQ2 GPT-4 在多大程度上能尊重用户约束和模块化设计意图。
• RQ3 GPT-4 在生成适用于性能驱动探索的设计空间和变体方面有多高的有效性？
• RQ4 GPT-4 是否能够协助预测性能并在 CDaM 流水线中引导逆向设计？
• RQ5 将 GPT-4 集成到端到端 CDaM 工作流时有哪些实际局限性和二元性？

主要发现

• GPT-4 展示了生成设计及支持代码用于 SVG 和 DXF 矢量格式并进行迭代改进的能力。
• GPT-4 能使用 CSG 和基于草图的 CAD 表示生成 3D 构件，但面临空间和定位挑战，通过有针对性的提示可改进。
• GPT-4 能使用预定义原始元件在 3D 中产生简单的表格样结构，尽管没有显式纠正时对齐和放置问题仍然存在。
• GPT-4 支持制造过程选择、提高可制造性的设计修改，以及在增材和减材工艺中创建可机读的制造指令。
• 研究揭示了在推理、验证和多请求扩展性方面的显著局限性，以及与上下文依赖和未提示推断相关的二元性。
• 端到端演示（橱柜和四旋翼）展示了 GPT-4 支持的 CDaM 工作流的潜力与迭代性。

Figure 2 . The prompts used for generating files in the format of SVG and DXF using GPT-4. The visualization of the graphs are shown on the right side. It is clear that GPT-4 can accomplish this task after several iterations.