[论文解读] 3DALL-E: Integrating Text-to-Image AI in 3D Design Workflows

Vivian Liu, Jo Vermeulen+2 more|arXiv (Cornell University)|Oct 20, 2022

Design Education and Practice被引用 4

一句话总结

3DALL-E 将 DALL-E、GPT-3 和 CLIP 集成到 Fusion 360 中，为 3D 设计工作流程生成 2D 图像灵感。设计师通过文本和图像提示探索概念、防止思维定势并生成参考素材，13 名参与者报告称其在 CAD 设计中的概念构思与协同创作方面具有显著潜力。

ABSTRACT

Text-to-image AI are capable of generating novel images for inspiration, but their applications for 3D design workflows and how designers can build 3D models using AI-provided inspiration have not yet been explored. To investigate this, we integrated DALL-E, GPT-3, and CLIP within a CAD software in 3DALL-E, a plugin that generates 2D image inspiration for 3D design. 3DALL-E allows users to construct text and image prompts based on what they are modeling. In a study with 13 designers, we found that designers saw great potential in 3DALL-E within their workflows and could use text-to-image AI to produce reference images, prevent design fixation, and inspire design considerations. We elaborate on prompting patterns observed across 3D modeling tasks and provide measures of prompt complexity observed across participants. From our findings, we discuss how 3DALL-E can merge with existing generative design workflows and propose prompt bibliographies as a form of human-AI design history.

研究动机与目标

• 探索文本到图像 AI 如何在 CAD 软件中支持概念性 3D 设计工作流程。
• 研究设计师如何利用 AI 生成的图像灵感克服设计定势并激发新想法。
• 评估多模态 AI（文本和图像提示）在类似 Fusion 360 的工业 CAD 环境中的集成效果。
• 理解真实世界 3D 设计任务中提示使用的模式与复杂性。
• 提出提示文献库作为未来人机协作中的人机设计历史形式。

提出的方法

• 通过名为 3DALL-E 的插件，将 DALL-E、GPT-3 和 CLIP 集成到 Fusion 360 中。
• 使用 GPT-3 基于用户目标生成 3D 关键词、设计风格和零件建议。
• 通过使用用户 3D 工作区的实时渲染图作为 DALL-E 的视觉输入，实现图像提示功能。
• 利用 CLIP 将 AI 生成的建议与当前 3D 模型上下文对齐，提升提示的相关性。
• 提供实时更新的交互式、动态提示建议，随用户操作即时变化。
• 在 13 名参与者的实际 CAD 工作流用户研究中，收集并分析用户提示与交互行为。

Figure 1 . 3DALL-E integrates a state-of-the-art text-to-image AI (DALL-E) into 3D CAD software Fusion 360. This plugin generates 2D image inspiration for conceptual CAD and product design workflows. 3DALL-E helps users craft text prompts by providing 3D keywords, design/styles, and parts from GPT-3

实验结果

研究问题

• RQ1 如何有效将文本到图像 AI 集成到 3D CAD 设计工作流中以支持概念构思？
• RQ2 设计师在 3D 建模过程中使用 AI 生成的图像灵感时，会形成哪些提示使用模式？
• RQ3 使用源自当前 3D 模型的图像提示如何影响 AI 生成输出的质量与相关性？
• RQ4 AI 生成的灵感以何种方式防止设计定势并拓展设计考量范围？
• RQ5 如何利用提示历史来追踪和保存人机协同设计过程？

主要发现

• 设计师认为 3DALL-E 在生成参考图像、防止设计定势以及激发新设计方向方面具有重要价值。
• 参与者根据工作流程所处阶段，采用多样的提示策略，包括早期、后期或迭代式使用 AI。
• 用户之间的提示复杂度存在显著差异，表现为长度和具体程度上的可测量差异。
• 该系统通过使用实时视口渲染图作为图像提示，成功实现了 3D 建模与文本到图像生成之间的桥梁作用。
• 设计师报告称，AI 建议帮助他们接触到原本可能不会考虑的设计语言和 3D 关键词。
• 作者提出提示文献库作为一种新颖方法，用于保存并反映人机设计历史。

Figure 2 . 3DALL-E walkthrough. Step I: Initial state, where users can type their design intentions. Step II: Users are presented with prompt suggestions from GPT-3. Step III: Selected suggestions are rephrased into an editable prompt. Step IV: Users wait as DALL-E generates. Step V: Results are sho