[论文解读] Modern Evolution Strategies for Creativity: Fitting Concrete Images and Abstract Concepts

Yingtao Tian, David Ha|arXiv (Cornell University)|Sep 18, 2021

3D Surveying and Cultural Heritage被引用 4

一句话总结

本文提出使用现代进化策略（ES）通过优化透明三角形的位置与颜色，以匹配目标图像或文本提示（通过CLIP嵌入），从而生成几何抽象艺术。结果表明，ES在质量与效率上可与基于梯度的方法相媲美，同时生成多样化、符合人类审美的抽象作品，与可微分渲染方法显著不同，尤其在抽象表现主义风格方面表现突出。

ABSTRACT

Evolutionary algorithms have been used in the digital art scene since the 1970s. A popular application of genetic algorithms is to optimize the procedural placement of vector graphic primitives to resemble a given painting. In recent years, deep learning-based approaches have also been proposed to generate procedural drawings, which can be optimized using gradient descent. In this work, we revisit the use of evolutionary algorithms for computational creativity. We find that modern evolution strategies (ES) algorithms, when tasked with the placement of shapes, offer large improvements in both quality and efficiency compared to traditional genetic algorithms, and even comparable to gradient-based methods. We demonstrate that ES is also well suited at optimizing the placement of shapes to fit the CLIP model, and can produce diverse, distinct geometric abstractions that are aligned with human interpretation of language. Videos and demo: https://es-clip.github.io/

研究动机与目标

• 使用现代进化策略（ES）重新审视进化算法在计算创造力中的应用，作为基于梯度优化的替代方案。
• 在使用几何基元合成图像时，提升传统遗传算法在质量与效率方面的表现。
• 通过使用CLIP嵌入优化形状位置，实现与人类对语言理解的一致性。
• 探索ES是否能生成多样化的、独特的几何抽象作品，以反映抽象概念而非仅具体图像。
• 证明ES在程序化艺术生成中可作为与领域无关、灵活的基于梯度方法的替代方案。

提出的方法

• 该方法使用进化策略（ES）优化画布上50个透明三角形的位置、颜色和不透明度，以最小化渲染图像与目标图像或文本提示之间的余弦距离。
• 适应度通过CLIP的图像与文本编码器计算，其中渲染画布与CLIP嵌入目标之间的相似性被用作目标函数。
• 优化采用ES的PGPE（带参数指数的策略梯度）变体与ClipUp结合，实现高效、非可微分渲染优化。
• 渲染过程使用nvdiffrast实现可微分三角形组合，支持基于梯度的比较，而主要优化仍基于ES。
• 对每个提示执行多次独立运行，以评估生成抽象作品的多样性与鲁棒性。
• 该方法同时支持图像拟合（如《蒙娜丽莎》）与文本到图像生成（如“一幅以康定斯基风格描绘山脉的画”）

实验结果

研究问题

• RQ1 现代进化策略（ES）在使用几何基元进行程序化图像合成时，是否能在质量和效率上超越传统遗传算法？
• RQ2 ES-based优化在生成与人类语言理解一致的抽象艺术方面，与基于梯度的方法相比表现如何？
• RQ3 ES在相同文本提示下，能在多大程度上生成多样化、独特的几何抽象作品，以反映语义概念？
• RQ4 ES优化会产生何种艺术风格？与可微分渲染生成的作品有何不同？
• RQ5 ES能否作为程序化艺术生成中与领域无关的、基于梯度方法的替代方案？

主要发现

• 尽管不可微分，现代进化策略（ES）在图像合成质量与优化效率方面可与最先进可微分渲染方法相媲美。
• 基于ES的方法生成的几何抽象作品与人类对文本提示（如“一座山脉”或“夜晚的城市”）的理解高度一致，语义保真度高。
• 对同一文本提示的多次独立运行产生多样化、独特的结果，展现出强大的探索能力与创造性变异性。
• ES生成的艺术作品呈现出更鲜明、更具表现力的抽象表现主义风格，边界更清晰、几何形态更明确，与基于梯度优化产生的柔和、融合感更强的结果形成鲜明对比。
• 该方法产生了在基于梯度方法中未见的独特艺术成果，表明其优化动力学存在内在差异。
• 该方法具有鲁棒性与泛化能力，因其在图像拟合与抽象概念生成（通过CLIP嵌入）方面均表现良好。