[论文解读] A Word is Worth a Thousand Pictures: Prompts as AI Design Material

Chinmay Kulkarni, Stefania Druga+4 more|arXiv (Cornell University)|Mar 22, 2023

Design Education and Practice被引用 18

一句话总结

本论文表明基于提示的文字转图像模型使非专业设计师能够快速探索设计空间并支持协同设计，提示作为反思性设计材料。

ABSTRACT

Recent advances in Machine-Learning have led to the development of models that generate images based on a text description.Such large prompt-based text to image models (TTIs), trained on a considerable amount of data, allow the creation of high-quality images by users with no graphics or design training. This paper examines the role such TTI models can playin collaborative, goal-oriented design. Through a within-subjects study with 14 non-professional designers, we find that such models can help participants explore a design space rapidly and allow for fluid collaboration. We also find that text inputs to such models ("prompts") act as reflective design material, facilitating exploration, iteration, and reflection in pair design. This work contributes to the future of collaborative design supported by generative AI by providing an account of how text-to-image models influence the design process and the social dynamics around design and suggesting implications for tool design

研究动机与目标

• 探究基于提示的图像生成如何改变非专业设计师的设计过程。
• 检查此类模型如何影响成对设计中的协作与社会互动。
• 将提示表征为引导探索与迭代的反思性设计材料。

提出的方法

• 采用被试内设计，包含14对非专业设计师。
• 每对设计师进行两次设计会话，分别使用仅图像搜索和在图像搜索基础上加上基于提示的模型(Envisage)。
• 参与者在 Google Slides 中创建邀请函，提示和图像被保存以供分析。
• 对转录文本和互动进行定性分析，以识别新兴主题。
• 研究后调查和专家评分用于评估创造力、完整性与适切性。

Figure 1 . Large prompt-based text-to-image models enable rapid exploration of a design space, and fluid collaboration. By allowing users to declaratively and quickly create images through text descriptions, these text prompts act as a reflective design material aiding exploration and collaboration.

实验结果

研究问题

• RQ1 RQ1：与使用图像搜索相比，使用基于提示的图像生成如何改变非专业设计师的设计过程？
• RQ2 RQ2：基于提示的图像生成模型如何影响设计过程中的协作动态？

主要发现

• 提示实现快速、声明式的图像创建，拓宽设计探索。
• 参与者在使用 Envisage 时感知的创造力高于图像搜索（自评平均创造力 3.6 vs 3.0）。
• 外部专家评审在创造力、完整性或适切性方面未观察到两种条件之间的显著差异。
• Envisage 设计中的图像数量较少（平均 2.4），而图像搜索设计中平均为 4。
• 提示作为反思性设计材料，参与者通过迭代细化以引导结果并理解模型行为。
• 协作受益于共享提示，但非决定性和对模型的不对称访问可能阻碍协调。