[논문 리뷰] How Can Large Language Models Help Humans in Design and Manufacturing?

Liane Makatura, Michael Foshey외 16명|arXiv (Cornell University)|2023. 07. 25.

BIM and Construction Integration인용 수 24

한 줄 요약

이 논문은 GPT-4가 전체 설계 및 제조(CDaM) 워크플로우를 어떻게 보강할 수 있는지 분석하고, 텍스트-디자인, 설계 공간 생성, 제조를 위한 설계, 성능 예측, 역설계에 초점을 맞추고 능력과 한계를 탐구합니다.

ABSTRACT

The advancement of Large Language Models (LLMs), including GPT-4, provides exciting new opportunities for generative design. We investigate the application of this tool across the entire design and manufacturing workflow. Specifically, we scrutinize the utility of LLMs in tasks such as: converting a text-based prompt into a design specification, transforming a design into manufacturing instructions, producing a design space and design variations, computing the performance of a design, and searching for designs predicated on performance. Through a series of examples, we highlight both the benefits and the limitations of the current LLMs. By exposing these limitations, we aspire to catalyze the continued improvement and progression of these models.

연구 동기 및 목표

• 계산 설계 및 제조 워크플로우에서 장벽을 낮추기 위해 Large Language Models의 활용을 촉진한다.
• 다섯 가지 CDaM 단계: design generation, design space generation, manufacturing preparation, performance evaluation, 및 inverse design에서 GPT-4의 작업 수행 능력을 체계적으로 고찰한다.
• 프롬프트 작성, 인간-인-루프 피드백, 및 기존 솔버와 시각화 도구와의 통합을 위한 실용적 전략을 식별한다.
• CDaM에서 GPT-4의 한계와 이중성에 대해 문서화하여 향후 모델 개선 및 워크플로우 설계를 안내한다.

제안 방법

• CDaM 구성요소(design, design space, manufacturing instructions, performance metrics)를 간략한 프로그램으로 표현하여 입력 DSL과 출력 DSL 간의 LLM 스타일 번역을 가능하게 한다.
• GPT-4를 사용하여 설계 표현(2D 벡터, 3D 매개변수, 로봇 URDF/그래프) 및 제조 공정(CNC, additive/subtractive) 전반에 걸친 광범위한 실험을 수행한다.
• text-to-design, text/design-to-design-space, 양방향 설계-제조, 설계-성능, 역설계 과제를 평가한다.
• GPT-4를 효과적으로 활용하기 위한 프롬프트 전략, 인간 피드백 통합 및 외부 도구 사용을 평가한다.
• GPT-4 지원을 통한 실용적 CDaM 워크플로를 시연하기 위해 엔드 투 엔드 예제(캐비닛 및 쿼드콥터)를 제작한다.

Figure 1 . Opportunities for LLM Integration within the CDaM Workflow. Each technical section of our paper covers opportunities for LLM integration in one of the tasks depicted above: text to design, text/design to design space, bi-directional design for manufacturing, design to performance, and inv

실험 결과

연구 질문

• RQ1 다양한 모델링 표현에서 고수준 목표로부터 의미 있는 설계를 GPT-4가 생성할 수 있는가?
• RQ2 생성된 설계에서 사용자 제약 조건과 모듈식 설계 의도를 어느 정도까지 GPT-4가 충족할 수 있는가?
• RQ3 성능 주도 탐색에 적합한 설계 공간과 변형들을 GPT-4가 얼마나 효과적으로 생성할 수 있는가?
• RQ4 CDaM 파이프라인에서 성능 예측을 돕고 역설계를 안내하는 데 GPT-4가 얼마나 도움을 줄 수 있는가?
• RQ5 엔드투엔드 CDaM 워크플로우에 통합될 때 GPT-4의 실용적 한계와 이중성은 무엇인가?

주요 결과

• GPT-4는 SVG 및 DXF 벡터 형식용 디자인과 보조 코드를 반복적으로 정교화하면서 생성하는 능력을 보여준다.
• GPT-4는 CSG 및 스케치 기반 CAD 표현을 사용한 3D 구성을 생성할 수 있지만, 공간적 및 위치적 도전에 직면하며 표적 프롬프트로 개선된다.
• GPT-4는 미리 정의된 기본 요소를 사용하여 3D에서 간단한 표 형태 구조를 생성할 수 있지만, 명시적 보정이 없으면 정렬 및 배치 문제가 지속된다.
• GPT-4는 제조 공정 선택, 제조 가능성을 위한 설계 수정, 그리고 적층 및 절삭 공정을 아우르는 기계 읽을 수 있는 제조 지침의 생성을 지원한다.
• 연구는 추론, 검증 및 다중 요청 확장성에 있어 주목할 만한 한계를 드러내며, 맥락 의존성과 사전 프롬프트 없이 추론되는 이중성과 관련된 이중성을 제시한다.
• 엔드투엔드 시연(캐비닛 및 쿼드콥터)은 GPT-4 기반 CDaM 워크플로의 잠재력과 반복적 특성을 모두 보여준다.

Figure 2 . The prompts used for generating files in the format of SVG and DXF using GPT-4. The visualization of the graphs are shown on the right side. It is clear that GPT-4 can accomplish this task after several iterations.