[论文解读] Deep Learning in a Computational Model for Conceptual Shifts in a Co-Creative Design System

Pegah Karimi, Mary Lou Maher+2 more|arXiv (Cornell University)|Jun 24, 2019

Design Education and Practice参考文献 7被引用 14

一句话总结

本文提出了一种基于深度学习的计算模型，可在协作式创意设计系统中生成概念上新颖的草图响应，该模型利用从学习到的向量表示中提取的视觉和概念相似性度量。用户研究表明，与低新颖性响应相比，高新颖性AI响应显著提升了用户创造力，后者主要支持渐进式的设计改进。

ABSTRACT

This paper presents a computational model for conceptual shifts, based on a novelty metric applied to a vector representation generated through deep learning. This model is integrated into a co-creative design system, which enables a partnership between an AI agent and a human designer interacting through a sketching canvas. The AI agent responds to the human designer's sketch with a new sketch that is a conceptual shift: intentionally varying the visual and conceptual similarity with increasingly more novelty. The paper presents the results of a user study showing that increasing novelty in the AI contribution is associated with higher creative outcomes, whereas low novelty leads to less creative outcomes.

研究动机与目标

• 开发一种计算模型，使协作式设计系统中的AI代理能够基于用户草图生成概念上新颖的响应。
• 将深度学习与新颖性度量相结合，以测量草图之间的视觉和概念相似性。
• 评估AI生成响应中不同新颖性水平对人类设计师创造性成果的影响。
• 通过基于大规模草图嵌入的度量方法，将新颖性作为可衡量指标，实现协作式系统中的创造力操作化。

提出的方法

• 该系统使用深度神经网络将草图嵌入到共享的视觉-概念向量空间中，从而实现相似性度量。
• 新颖性通过结合用户输入草图的视觉和概念不相似性的复合距离度量来计算。
• 该模型根据嵌入空间中的距离，将潜在的AI响应分类为低、中、高新颖性三类。
• 通过24名参与者的“巫师之 Oz”用户研究，将参与者暴露于三种条件：低新颖性、中等新颖性和高新颖性AI响应。
• 收集并分析了用户草图，结合定量创造力评分和访谈回应的定性主题分析。

实验结果

研究问题

• RQ1 AI生成草图响应的新颖性水平如何影响人类设计师后续草图的创造性质量？
• RQ2 与低新颖性响应相比，高新颖性概念转变在何种方式上激发了变革性设计思维？
• RQ3 通过深度学习嵌入测量的概念相似性，在支持或限制创造性探索方面发挥何种作用？
• RQ4 用户如何看待高度新颖与高度相似的AI生成设计建议的实用性？

主要发现

• 高新颖性AI响应在定量评分和定性分析中均显著提升了用户草图的创造性成果。
• 参与者报告称，高新颖性响应打开了新的设计可能性，例如将航空母舰座椅等不相关领域特征融入椅子设计中。
• 低新颖性响应被认为刺激性较弱，用户主要在其原始草图上添加结构细节，而非转变其概念。
• 24名参与者中有3名更偏好低新颖性响应，主要因其有助于完成或完善初始设计，但大多数人认为其对创造性探索帮助有限。
• 参与者一致将低新颖性响应描述为“符合预期”或“复制现有想法”，表明其创造性刺激有限。
• 本研究证实，通过基于深度学习的视觉和概念嵌入测量的新颖性，是协作式设计系统中提升创造性表现的强有力预测指标。