[论文解读] Deep Learning for Identifying Potential Conceptual Shifts for Co-creative Drawing

Pegah Karimi, Nicholas M. Davis+2 more|arXiv (Cornell University)|Jan 2, 2018

Design Education and Practice参考文献 8被引用 3

一句话总结

本文提出了一种协同创作绘图系统，利用深度学习通过将用户草图与不同类别中结构相似的草图匹配，识别概念上的转变。该系统基于Quick, Draw!数据集，使用VGG-16特征和k-means聚类进行训练，通过计算聚类中心之间的欧氏距离检测潜在的概念融合，使人工智能能够建议具有创造性的跨类别草图转换，以增强用户的创造力。

ABSTRACT

We present a system for identifying conceptual shifts between visual categories, which will form the basis for a co-creative drawing system to help users draw more creative sketches. The system recognizes human sketches and matches them to structurally similar sketches from categories to which they do not belong. This would allow a co-creative drawing system to produce an ambiguous sketch that blends features from both categories.

研究动机与目标

• 开发一种协同创作绘图系统，通过人工智能驱动的概念转变来增强用户创造力。
• 解决通过识别不同视觉类别之间的结构相似性来生成新颖草图创意的挑战。
• 通过检测潜在的概念融合，实现在无关草图类别之间的自由联想。
• 训练一种能够识别用户草图并以结构相似但类别不同的草图作出响应的系统。

提出的方法

• 该系统使用在Quick, Draw!数据集上微调过的预训练VGG-16网络，从草图中提取4096维的特征向量。
• 利用VGG-16的第一个全连接层（fc1）将草图嵌入到高层表示中。
• 对这些嵌入应用k-means聚类，将结构相似的草图分组到每个物体类别的子类别中。
• 通过计算用户草图聚类中心与其它类别聚类中心之间的欧氏距离，识别概念转变。
• 从不同类别的聚类中选择距离最近的一个作为最具潜力的概念转变。
• 系统通过随机选择的方式提供匹配聚类中的响应草图，未来计划采用神经生成方法。

实验结果

研究问题

• RQ1 协同创作系统如何通过检测不同概念类别草图之间的结构相似性，实现概念融合？
• RQ2 何种基于深度学习的特征表示能够有效实现同一类别内多样化草图变体的聚类？
• RQ3 在深度特征上进行聚类如何提升在自由联想草图创作中潜在概念转变的识别能力？
• RQ4 何种度量或标准能够可靠地对来自不同类别的最具潜力概念转变进行排序？
• RQ5 系统在多个输入和迭代中的响应如何变化？其能否生成多样化且上下文相关的概念转变？

主要发现

• 该系统成功利用聚类中心之间的欧氏距离，在不同类别之间识别出结构相似的草图，从而实现潜在的概念转变。
• 在VGG-16特征上进行聚类能有效将同一物体的多样化草图变体分组为有意义的子类别，显著降低类别内部差异。
• 案例研究显示，该系统能够为单个输入草图生成多个合理的概念转变响应，例如将土豆转化为类似花朵或牙齿的形状。
• 系统生成的视觉上合理的概念融合结果中，低距离匹配表明结构相似性较强，如图3所示。
• 对于同一类物体的多个输入（例如不同的花朵或牙齿），系统能识别出不同的概念转变，表明其对用户输入演变具有适应能力。
• 该方法实现了自由联想游戏框架，使人工智能与用户通过探索跨类别视觉转换共同创作。