[論文レビュー] A Word is Worth a Thousand Pictures: Prompts as AI Design Material

Chinmay Kulkarni, Stefania Druga+4 more|arXiv (Cornell University)|Mar 22, 2023

Design Education and Practice被引用数 18

ひとこと要約

本論文は、プロンプトベースのテキスト→画像モデルが非専門家デザイナーに設計空間を迅速に探求させ、協働デザインを支援することを示しており、プロンプトは反省的な設計材料として機能する。

ABSTRACT

Recent advances in Machine-Learning have led to the development of models that generate images based on a text description.Such large prompt-based text to image models (TTIs), trained on a considerable amount of data, allow the creation of high-quality images by users with no graphics or design training. This paper examines the role such TTI models can playin collaborative, goal-oriented design. Through a within-subjects study with 14 non-professional designers, we find that such models can help participants explore a design space rapidly and allow for fluid collaboration. We also find that text inputs to such models ("prompts") act as reflective design material, facilitating exploration, iteration, and reflection in pair design. This work contributes to the future of collaborative design supported by generative AI by providing an account of how text-to-image models influence the design process and the social dynamics around design and suggesting implications for tool design

研究の動機と目的

• プロンプトベースの画像生成が非専門家デザイナーの設計プロセスをどのように変えるかを調査する。
• このようなモデルがペアデザインにおける協働と社会的ダイナミクスにどのように影響するかを検討する。
• 探索と反復を導く反省的な設計材料としてのプロンプトを特徴づける。

提案手法

• 非専門家デザイナー14組を対象とした被験者内デザイン。
• 各組につきImage SearchのみとImage Searchに加えプロンプトベースモデル（Envisage）を用いた2回のデザインセッション。
• 参加者はGoogle Slidesを用いて招待状を作成し、プロンプトと画像を分析のために保存した。
• トランスクリプトと相互作用の質的分析を通じて、新たなテーマを特定する。
• 研究後の調査と専門家評価を用いて創造性、完成度、適切さを評価する。

Figure 1 . Large prompt-based text-to-image models enable rapid exploration of a design space, and fluid collaboration. By allowing users to declaratively and quickly create images through text descriptions, these text prompts act as a reflective design material aiding exploration and collaboration.

実験結果

リサーチクエスチョン

• RQ1 RQ1: プロンプトベースの画像生成を使用することは、Image Searchを使用した場合と比べて、非専門家デザイナーの設計プロセスをどのように変えるのか。
• RQ2 RQ2: プロンプトベースの画像生成モデルは設計中の協働ダイナミクスにどのような影響を与えるのか。

主な発見

• プロンプトは迅速で宣言的な画像作成を可能にし、設計探索を広げる。
• 参加者はEnvisageの方がImage Searchより創造性が高いと感じた（自己評価の創造性の平均値3.6 vs 3.0）。
• 外部の専門家評価者は、条件間で創造性、完成度、適切性に有意差を示さなかった。
• Envisageデザインでは画像数が少なめである傾向があり（平均2.4）、Image Searchデザインでは平均4であった。
• プロンプトは参加者が結果を誘導し、モデルの挙動を理解するために反復的に洗練させる反省的な設計材料として機能する。
• 共同作業は共有プロンプトによって利点を得たが、非決定性とモデルへのアクセスの非対称性が調整を妨げる可能性がある。