[論文レビュー] How Can Large Language Models Help Humans in Design and Manufacturing?

Liane Makatura, Michael Foshey+16 more|arXiv (Cornell University)|Jul 25, 2023

BIM and Construction Integration被引用数 24

ひとこと要約

本論文は、GPT-4が設計と製造（CDaM）全体のワークフローをどのように強化できるかを分析し、テキストから設計への変換、設計空間の生成、製造性向上の設計、性能予測、逆設計に焦点を当て、能力と限界を探る。

ABSTRACT

The advancement of Large Language Models (LLMs), including GPT-4, provides exciting new opportunities for generative design. We investigate the application of this tool across the entire design and manufacturing workflow. Specifically, we scrutinize the utility of LLMs in tasks such as: converting a text-based prompt into a design specification, transforming a design into manufacturing instructions, producing a design space and design variations, computing the performance of a design, and searching for designs predicated on performance. Through a series of examples, we highlight both the benefits and the limitations of the current LLMs. By exposing these limitations, we aspire to catalyze the continued improvement and progression of these models.

研究の動機と目的

• 計算設計と製造ワークフローにおける障壁を低減するために、Large Language Modelsの利用を動機づける。
• 5つのCDaMフェーズ（設計生成、設計空間生成、製造準備、性能評価、逆設計）全体にわたるGPT-4のタスク遂行能力を体系的に検討する。
• プロンプト戦略、ヒューマン・イン・ザ・ループのフィードバック、既存のソルバーやビジュアライザとLLMsを統合するツールの実用的戦略を特定する。
• CDaMにおけるGPT-4の限界と二面性を文書化し、今後のモデル改善とワークフロー設計を導く。

提案手法

• CDDaMコンポーネント（設計、設計空間、製造指示、性能指標）をコンパクトなプログラムとして表現し、入力DSLと出力DSLのLLM風翻訳を可能にする。
• GPT-4を用いて、設計表現（2Dベクター、3Dパラメトリック、ロボティクスURDF/グラフ）と製造プロセス（CNC、加算/減算）に渡る広範な実験を実施する。
• テキストから設計への変換、テキスト/設計から設計空間への変換、双方向の設計-製造、設計から性能、そして逆設計タスクを評価する。
• プロンプト戦略、人間のフィードバック統合、外部ツールの使用を評価し、GPT-4を効果的に活用する。
• 実践的なCDaMワークフローをGPT-4サポートで示すため、エンドツーエンドの例（キャビネットとクアッドコプター）を作成する。

Figure 1 . Opportunities for LLM Integration within the CDaM Workflow. Each technical section of our paper covers opportunities for LLM integration in one of the tasks depicted above: text to design, text/design to design space, bi-directional design for manufacturing, design to performance, and inv

実験結果

リサーチクエスチョン

• RQ1 複数のモデリング表現に跨る高レベルの目標から、GPT-4は意味のある設計を生成できるか？
• RQ2 生成された設計において、ユーザーの制約とモジュール化設計意図をどの程度GPT-4は遵守できるか？
• RQ3 性能主導の探索に適した設計空間とバリエーションをGPT-4はどの程度効果的に生成できるか？
• RQ4 CDaMパイプライン内で、GPT-4は性能予測と逆設計の指針を補助できるか？
• RQ5 エンドツーエンドのCDaMワークフローへの統合時のGPT-4の実用的な限界と二面性は何か？

主な発見

• GPT-4は、SVGおよびDXFベクタ形式の設計と補助コードを反復的な洗練とともに生成する能力を示す。
• GPT-4はCSGとスケッチベースのCAD表現を用いた3D構造を生成できるが、空間的および位置的な課題に直面し、ターゲットを絞ったプロンプトで改善される。
• GPT-4は事前定義されたプリミティブを用いて3Dで単純な表のような構造を生成できるが、明示的な修正がないと整列と配置の問題が残る。
• GPT-4は、製造プロセスの選択、製造性のための設計変更、および加算・減算プロセスを横断する機械可読な製造指示の作成をサポートする。
• 本研究は、推論、検証、複数リクエストのスケーラビリティに顕著な制限を明らかにし、文脈依存性と未プロンプト推論に関する二面性を伴う。
• エンドツーエンドのデモンストレーション（キャビネットとクアッドコプター）は、GPT-4対応のCDaMワークフローの可能性と反復性の両方を示す。

Figure 2 . The prompts used for generating files in the format of SVG and DXF using GPT-4. The visualization of the graphs are shown on the right side. It is clear that GPT-4 can accomplish this task after several iterations.