[论文解读] Generative Art Using Neural Visual Grammars and Dual Encoders

Chrisantha Fernando, S. M. Ali Eslami+4 more|arXiv (Cornell University)|May 1, 2021

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 9

一句话总结

本文提出了一种新颖的生成艺术系统，通过分层神经视觉语法和多模态双编码器，利用文本提示生成图像。该系统通过可微分语法演化图像，并借助视觉-语言对比模型评估图像质量，从而生成多样化、美学风格多样的图像诠释——例如，对于"Jungle in the Tiger"这一提示，系统生成了1950年代通俗电影风格的图像，展示了通过算法演化和学习到的语义对齐所涌现出的艺术创造力。

ABSTRACT

Whilst there are perhaps only a few scientific methods, there seem to be almost as many artistic methods as there are artists. Artistic processes appear to inhabit the highest order of open-endedness. To begin to understand some of the processes of art making it is helpful to try to automate them even partially. In this paper, a novel algorithm for producing generative art is described which allows a user to input a text string, and which in a creative response to this string, outputs an image which interprets that string. It does so by evolving images using a hierarchical neural Lindenmeyer system, and evaluating these images along the way using an image text dual encoder trained on billions of images and their associated text from the internet. In doing so we have access to and control over an instance of an artistic process, allowing analysis of which aspects of the artistic process become the task of the algorithm, and which elements remain the responsibility of the artist.

研究动机与目标

• 开发一种通过算法化、开放式过程从文本提示生成艺术图像的系统。
• 探索人工系统如何模拟艺术创作的某些方面，特别是形式化生成与人类评估之间的相互作用。
• 研究预训练的视觉-语言模型是否可作为生成艺术流程中可信且无偏见的评判者。
• 通过观察与人类预期相悖的视觉诠释的涌现，理解算法创造力的边界。
• 构建一个框架，使算法负责视觉构图，而人类判断在遴选和最终选择中保持核心地位。

提出的方法

• 通过递归重写规则，分层神经Lindenmayer系统（视觉语法）演化图像，实现结构化、有组织的图像生成。
• 系统利用可微分演化在图像空间中搜索，其方向由视觉-语言双编码器提供的学习奖励信号引导。
• 双编码器在互联网上数十亿张图像-文本对上进行预训练，通过对比学习学习视觉与语言表征之间的对齐。
• 根据图像候选与输入文本提示的语义相似度进行评分，得分越高表示语义对齐越好。
• 演化通过在语法参数空间中的随机搜索进行，选择基于双编码器的评分，以促进多样性与相关性。
• 最终输出由人工遴选确定，强调尽管经过算法生成，人类判断在艺术评价中的核心作用。

实验结果

研究问题

• RQ1 神经视觉语法结合预训练视觉-语言模型，能否从自然语言提示中生成多样化且语义基础牢固的图像？
• RQ2 学习到的双编码器在生成艺术流程中在多大程度上可作为可靠且无偏见的评判者？
• RQ3 算法生成过程与人工遴选在塑造最终艺术输出方面如何相互作用？
• RQ4 当系统未受到直接监督，仅受语义对齐约束时，会涌现出何种类型的视觉诠释？
• RQ5 系统能否生成与人类预期显著不同的诠释，例如将"Tiger in the Jungle"转化为"Jungle in the Tiger"并产生出人意料的美学效果？

主要发现

• 该系统成功为提示"Jungle in the Tiger"生成了一幅1950年代通俗电影风格的海报，展示了与原始短语无直接关联的独特美学诠释。
• 在16次独立的演化运行中，该算法产生了多样化输出，表明其对同一提示具有稳健且多样的响应能力。
• 双编码器有效评估了图像与文本的对齐程度，使系统能够在无显式监督的情况下优先选择语义相关的视觉构图。
• 生成的图像常常出人意料且非显而易见，例如将"Jungle in the Tiger"诠释为超现实、电影感的场景，而非字面意义上的描绘。
• 作者观察到，模型的诠释受到其在互联网数据上训练的影响，从而引入了如亨利·卢梭风格的视觉影响，即使未直接提及此类参考。
• 人工遴选依然至关重要，作者频繁拒绝生成结果并不断调整自身的评判标准，凸显了人类判断在艺术评价中不可替代的作用。