[論文レビュー] 3DALL-E: Integrating Text-to-Image AI in 3D Design Workflows

Vivian Liu, Jo Vermeulen+2 more|arXiv (Cornell University)|Oct 20, 2022

Design Education and Practice被引用数 4

ひとこと要約

3DALL-E は DALL-E、GPT-3、CLIP を Fusion 360 に統合し、3D デザインワークフローのための 2D 画像インスピレーションを生成する。デザイナーはテキストおよび画像プロンプトを使用してコンセプトを探索し、固定観念を回避し、リファレンスを生成した。13名の参加者が、CAD デザインにおけるアイデーションおよび共同創造の強力な可能性を報告した。

ABSTRACT

Text-to-image AI are capable of generating novel images for inspiration, but their applications for 3D design workflows and how designers can build 3D models using AI-provided inspiration have not yet been explored. To investigate this, we integrated DALL-E, GPT-3, and CLIP within a CAD software in 3DALL-E, a plugin that generates 2D image inspiration for 3D design. 3DALL-E allows users to construct text and image prompts based on what they are modeling. In a study with 13 designers, we found that designers saw great potential in 3DALL-E within their workflows and could use text-to-image AI to produce reference images, prevent design fixation, and inspire design considerations. We elaborate on prompting patterns observed across 3D modeling tasks and provide measures of prompt complexity observed across participants. From our findings, we discuss how 3DALL-E can merge with existing generative design workflows and propose prompt bibliographies as a form of human-AI design history.

研究の動機と目的

• テキストから画像への AI が CAD ソフトウェアにおける概念的 3D デザインワークフローをどのように支援できるかを調査すること。
• デザイナーが AI 生成画像インスピレーションをどのように活用して設計の固定観念を克服し、新たなアイデーションを生み出すかを調査すること。
• Fusion 360 のような産業用 CAD 環境にマルチモーダル AI（テキストおよび画像プロンプト）を統合する方法を評価すること。
• 実際の 3D デザインタスクにおけるプロンプトのパターンと複雑さを理解すること。
• 将来の協働に向けた人間-AI デザイン歴史の形式としてのプロンプト図書を提言すること。

提案手法

• 3DALL-E と呼ばれるプラグインを通じて、DALL-E、GPT-3、CLIP を Fusion 360 に統合した。
• GPT-3 を使用して、ユーザーの目的に基づき 3D キーワード、デザインスタイル、部品の提案を生成した。
• ユーザーの 3D ワークスペースのリアルタイムレンダリングを視覚的入力として DALL-E に使用することで、画像プロンプトを可能にした。
• CLIP を活用して、AI が生成する提案を現在の 3D モデルの文脈に一致させ、プロンプトの関連性を向上させた。
• ユーザーの作業に応じてリアルタイムで更新されるインタラクティブで動的なプロンプト提案を提供した。
• 実際の CAD ワークフローにおける 13 名の参加者を対象としたユーザースタディを通じて、プロンプトと相互作用を収集・分析した。

Figure 1 . 3DALL-E integrates a state-of-the-art text-to-image AI (DALL-E) into 3D CAD software Fusion 360. This plugin generates 2D image inspiration for conceptual CAD and product design workflows. 3DALL-E helps users craft text prompts by providing 3D keywords, design/styles, and parts from GPT-3

実験結果

リサーチクエスチョン

• RQ1 テキストから画像への AI を、3D CAD デザインワークフローに効果的に統合する方法は何か？
• RQ2 3D モデリング中に AI 生成画像インスピレーションを使用する際、どのようなプロンプトパターンが生じるか？
• RQ3 現在の 3D モデルから得た画像プロンプトを使用することで、AI 生成出力の質と関連性はどのように変化するか？
• RQ4 AI 生成インスピレーションは、設計の固定観念をどのように回避し、設計の検討範囲を拡大するか？
• RQ5 プロンプト履歴は、人間-AI 共同デザインプロセスを追跡・保存するためにどのように活用できるか？

主な発見

• デザイナーは 3DALL-E を、リファレンス画像の生成、設計の固定観念の防止、新たな設計方向性のインスピレーション源として有用と評価した。
• 参加者は、ワークフローの段階に応じて、初期段階、後続段階、あるいは反復的な方法で AI を使用する多様なプロンプト戦略を用いた。
• ユーザー間でプロンプトの複雑さに顕著な差が見られ、長さや明確さの点で測定可能な差異が確認された。
• リアルタイムのビューポートレンダリングを画像プロンプトとして使用することで、3D モデリングとテキストから画像への生成の橋渡しが成功した。
• デザイナーは、AI の提案のおかげで、そうでなければ考えつかなかったデザイン言語や 3D キーワードにアクセスできたと報告した。
• 著者らは、人間-AI デザイン歴史を保存・反映するための新規手法として、プロンプト図書を提唱した。

Figure 2 . 3DALL-E walkthrough. Step I: Initial state, where users can type their design intentions. Step II: Users are presented with prompt suggestions from GPT-3. Step III: Selected suggestions are rephrased into an editable prompt. Step IV: Users wait as DALL-E generates. Step V: Results are sho