[논문 리뷰] A Word is Worth a Thousand Pictures: Prompts as AI Design Material

Chinmay Kulkarni, Stefania Druga외 4명|arXiv (Cornell University)|2023. 03. 22.

Design Education and Practice인용 수 18

한 줄 요약

본 논문은 프롬프트 기반 텍스트-투-이미지 모델이 비전문 디자이너들이 디자인 공간을 신속하게 탐색하고 협업 디자인을 지원하도록 하며, 프롬프트가 반영적 디자인 소재로 작용한다는 것을 보여준다.

ABSTRACT

Recent advances in Machine-Learning have led to the development of models that generate images based on a text description.Such large prompt-based text to image models (TTIs), trained on a considerable amount of data, allow the creation of high-quality images by users with no graphics or design training. This paper examines the role such TTI models can playin collaborative, goal-oriented design. Through a within-subjects study with 14 non-professional designers, we find that such models can help participants explore a design space rapidly and allow for fluid collaboration. We also find that text inputs to such models ("prompts") act as reflective design material, facilitating exploration, iteration, and reflection in pair design. This work contributes to the future of collaborative design supported by generative AI by providing an account of how text-to-image models influence the design process and the social dynamics around design and suggesting implications for tool design

연구 동기 및 목표

• 프롬프트 기반 이미지 생성이 비전문 디자이너의 디자인 프로세스에 어떤 변화를 가져오는지 조사한다.
• 이러한 모델이 페어 디자인에서의 협업 및 사회적 역학에 어떤 영향을 미치는지 검토한다.
• 탐색과 반복을 이끄는 반영적 디자인 소재로서 프롬프트를 특징지킨다.

제안 방법

• 비전문 디자이너 14쌍을 대상으로 한 피실험자 내 설계.
• 각 쌍당 Image Search 만 사용한 세션과 Image Search plus 프롬프트 기반 모델(Envisage)을 이용한 두 번째 설계 세션.
• 참가자들은 분석을 위해 프롬프트와 이미지를 저장하면서 Google Slides에서 초대장을 만들었다.
• 전사 기록 및 상호작용의 질적 분석을 통해 새롭게 부상하는 주제를 식별하기 위한.
• 연구 후 설문조사 및 전문가 평가를 통해 창의성, 완전성, 적합성을 평가했다.

Figure 1 . Large prompt-based text-to-image models enable rapid exploration of a design space, and fluid collaboration. By allowing users to declaratively and quickly create images through text descriptions, these text prompts act as a reflective design material aiding exploration and collaboration.

실험 결과

연구 질문

• RQ1 RQ1: 프롬프트 기반 이미지 생성을 사용하는 것이 이미지 검색을 사용할 때에 비해 비전문 디자이너의 디자인 프로세스에 어떤 변화를 가져오는가?
• RQ2 RQ2: 프롬프트 기반 이미지 생성 모델이 디자인 중 협업 동태에 어떤 영향을 미치는가?

주요 결과

• 프롬프트는 디자인 탐색의 범위를 넓히는 빠르고 선언적인 이미지 생성을 가능하게 한다.
• 참가자들은 이미지 검색보다 Envisage에서 더 높은 창의성을 인지했다(자기평가 창의성 평균 3.6 vs 3.0).
• 외부 전문가 평가자들은 조건 간 창의성, 완전성, 적합성에서 유의한 차이를 보이지 않았다.
• Envisage 설계에서의 디자인 산출물은 이미지 검색 설계보다 이미지 수가 적은 경향을 보였다(평균 2.4 vs 4).
• 프롬프트는 참가자들이 결과를 방향짓고 모델 동작을 이해하기 위해 반복적으로 다듬은 반영적 디자인 소재로 작용한다.
• 공유된 프롬프트로 협업이 이득을 보였으나 비결정성과 모델에 대한 비대칭적 접근이 협업 조정에 방해가 될 수 있다.