[논문 리뷰] 3DALL-E: Integrating Text-to-Image AI in 3D Design Workflows

Vivian Liu, Jo Vermeulen외 2명|arXiv (Cornell University)|2022. 10. 20.

Design Education and Practice인용 수 4

한 줄 요약

3DALL-E는 DALL-E, GPT-3 및 CLIP을 Fusion 360에 통합하여 3D 설계 워크플로우의 2D 이미지 영감을 생성한다. 디자이너들은 텍스트 및 이미지 프롬프트를 사용하여 개념을 탐색하고 고정관념을 방지하며 참고 자료를 생성했으며, 13명의 참가자가 CAD 설계에서 아이디어 도출과 공동 창작 잠재력이 높다고 보고했다.

ABSTRACT

Text-to-image AI are capable of generating novel images for inspiration, but their applications for 3D design workflows and how designers can build 3D models using AI-provided inspiration have not yet been explored. To investigate this, we integrated DALL-E, GPT-3, and CLIP within a CAD software in 3DALL-E, a plugin that generates 2D image inspiration for 3D design. 3DALL-E allows users to construct text and image prompts based on what they are modeling. In a study with 13 designers, we found that designers saw great potential in 3DALL-E within their workflows and could use text-to-image AI to produce reference images, prevent design fixation, and inspire design considerations. We elaborate on prompting patterns observed across 3D modeling tasks and provide measures of prompt complexity observed across participants. From our findings, we discuss how 3DALL-E can merge with existing generative design workflows and propose prompt bibliographies as a form of human-AI design history.

연구 동기 및 목표

• 텍스트에서 이미지로의 AI가 CAD 소프트웨어 내 개념적 3D 설계 워크플로우를 어떻게 지원할 수 있는지 탐색하기.
• 디자이너들이 AI로 생성된 이미지 영감을 사용하여 설계 고정관념을 극복하고 새로운 아이디어를 떠올리는 방식을 조사하기.
• Fusion 360과 같은 산업용 CAD 환경 내에서 다중 모달 AI(텍스트 및 이미지 프롬프트) 통합을 평가하기.
• 실제 3D 설계 작업에서의 프롬프트 패턴과 복잡성 이해하기.
• 미래의 협업을 위한 인간-AI 디자인 역사 형태로서의 프롬프트 도서관 제안하기.

제안 방법

• 3DALL-E라는 플러그인을 통해 DALL-E, GPT-3 및 CLIP을 Fusion 360에 통합했다.
• 사용자 목표에 기반해 GPT-3를 활용해 3D 키워드, 디자인 스타일 및 부품 제안을 생성했다.
• 사용자의 3D 워크스페이스 실시간 렌더링을 시각적 입력으로 사용해 DALL-E를 통한 이미지 프롬프팅을 가능하게 했다.
• CLIP을 활용해 AI로 생성된 제안을 현재 3D 모델의 맥락과 정렬함으로써 프롬프트의 관련성을 향상시켰다.
• 사용자가 작업하는 동안 실시간으로 업데이트되는 상호작용적이고 동적인 프롬프트 제안을 제공했다.
• 실제 CAD 워크플로우에서 진행된 13명의 참가자 사용자 연구 동안 프롬프트 및 상호작용 데이터를 수집하고 분석했다.

Figure 1 . 3DALL-E integrates a state-of-the-art text-to-image AI (DALL-E) into 3D CAD software Fusion 360. This plugin generates 2D image inspiration for conceptual CAD and product design workflows. 3DALL-E helps users craft text prompts by providing 3D keywords, design/styles, and parts from GPT-3

실험 결과

연구 질문

• RQ1 텍스트에서 이미지로의 AI는 3D CAD 설계 워크플로우에 어떻게 효과적으로 통합될 수 있는가?
• RQ2 디자이너들이 3D 모델링 중에 AI로 생성된 이미지 영감을 사용할 때 나타나는 프롬프트 패턴은 무엇인가?
• RQ3 현재 3D 모델에서 파생된 이미지 프롬프트를 사용할 경우 AI로 생성된 출력의 품질과 관련성은 어떻게 영향을 받는가?
• RQ4 AI로 생성된 영감은 설계 고정관념을 방지하고 설계 고려 사항을 어떻게 확장하는가?
• RQ5 프롬프트 기록은 인간-AI 협업 디자인 과정을 추적하고 보존하는 데 어떻게 활용될 수 있는가?

주요 결과

• 디자이너들은 3DALL-E를 참고 자료 생성, 설계 고정관념 방지, 새로운 설계 방향 제시에 유용하게 평가했다.
• 참가자들은 워크플로우 단계에 따라 조기에, 늦게, 또는 반복적으로 AI를 사용하는 다양한 프롬프트 전략을 활용했다.
• 사용자 간에 프롬프트 복잡성이 크게 달라졌으며, 길이와 구체성 측면에서 측정 가능한 차이가 있었다.
• 시스템은 실시간 뷰포트 렌더링을 이미지 프롬프트로 사용해 3D 모델링과 텍스트에서 이미지 생성 간의 격차를 성공적으로 메웠다.
• 디자이너들은 AI 제안이 자신들이 아닐 경우 고려하지 않았을 설계 어휘와 3D 키워드에 접근하는 데 도움이 되었다고 보고했다.
• 저자들은 인간-AI 디자인 역사 반영을 위한 새로운 방법으로 프롬프트 도서관 제안을 제기했다.

Figure 2 . 3DALL-E walkthrough. Step I: Initial state, where users can type their design intentions. Step II: Users are presented with prompt suggestions from GPT-3. Step III: Selected suggestions are rephrased into an editable prompt. Step IV: Users wait as DALL-E generates. Step V: Results are sho