[论文解读] CAN: Creative Adversarial Networks, Generating "Art" by Learning About Styles and Deviating from Style Norms

Ahmed Elgammal, Bingchen Liu+2 more|arXiv (Cornell University)|Jun 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 223

一句话总结

CAN 修改 GAN 目标，通过在偏离既定风格的同时尽量接近艺术分布来生成艺术品，从而实现类似人类的艺术创造力；实验表明 CAN 生成的图像通常与人类创作的艺术作品难以被人类区分。

ABSTRACT

We propose a new system for generating art. The system generates art by looking at art and learning about style; and becomes creative by increasing the arousal potential of the generated art by deviating from the learned styles. We build over Generative Adversarial Networks (GAN), which have shown the ability to learn to generate novel images simulating a given distribution. We argue that such networks are limited in their ability to generate creative products in their original design. We propose modifications to its objective to make it capable of generating creative art by maximizing deviation from established styles and minimizing deviation from art distribution. We conducted experiments to compare the response of human subjects to the generated art with their response to art created by artists. The results show that human subjects could not distinguish art generated by the proposed system from art generated by contemporary artists and shown in top art fairs. Human subjects even rated the generated images higher on various scales.

研究动机与目标

• 研究一个在创作过程中不需要人类参与的计算创造系统，用于艺术生成。
• 使生成器在偏离既定风格的同时，仍然保持在艺术分布之内，从而提高唤起潜力。
• 将唤起与习惯化理论融入，以驱动对艺术空间的创造性探索。
• 评估 CAN 生成的艺术是否能被人类感知为艺术，并与艺术家作品和基线 GAN 输出进行比较。

提出的方法

• 将 GAN 扩展为来自判别器的两种信号：艺术来源概率和风格分类模糊度。
• 引入风格模糊目标，通过对均匀风格分布最小化交叉熵，而不是最大化熵。
• 训练 CAN 生成器，使其产生看起来是真正的艺术品但风格分类尽可能模糊。
• 判别器同时学习区分真实与伪造艺术，以及在多种艺术流派中对风格进行分类。
• 使用带有 100 维潜在输入和上采样结构的 DCGAN 风格生成器，输出 256×256 图像。
• 使用 WikiArt 数据训练，涵盖多种风格，结合数据增强和批归一化来提升稳定性。

实验结果

研究问题

• RQ1 CAN 能否生成被人类感知为艺术的艺术品，同时不明显符合既定风格？
• RQ2 引入风格模糊损失是否会使生成的艺术偏离风格规范，却仍然在更广泛的艺术分布内？
• RQ3 相较基线 GAN 输出，CAN 生成的图像是更受偏好还是被人类评审辨识为与人类创作的艺术相同？
• RQ4 增加风格分类与风格模糊对仿真艺术分布与创造力的影响？
• RQ5 就感知原创性和可喜欢度而言，CAN 生成的图像与人类创作的抽象表现主义或巴塞艺术展作品相比如何？

主要发现

• CAN 生成的图像通常具有美感，不符合传统流派，也不包含可辨识的人物。
• 在实验中，人类无法可靠区分 CAN 生成的艺术与当代艺术家作品，表现优于 DCGAN 基线。
• 具有风格模糊的 CAN 与具有风格分类的 CAN 不同，它生成了更多看起来新颖的图像，同时仍然符合艺术分布。
• 在实验中，抽象表现主义和巴塞艺术展的作品更易被人类识别为艺术家创作，而 CAN 输出则不如艺术家作品易被识别，但比 GAN 基线更接近艺术家风格。
• 定量实验表明，与 DCGAN 变体相比，CAN 生成的图像获得较好的相似度评分，且受试者将其归因于计算机的能力下降。