[论文解读] Aesthetics of Neural Network Art

Aaron Hertzmann|arXiv (Cornell University)|Mar 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 8

一句话总结

本文提出，神经网络艺术的审美吸引力源于对真实视觉线索的非寻常组合，通过利用在自然图像上训练的模型，生成引人入胜的、超现实的变体。通过分析生成对抗网络（GANs）、DeepDream 和神经风格迁移，本文表明审美兴趣源于熟悉图像结构内的感知新颖性。

ABSTRACT

This paper proposes a way to understand neural network artworks as juxtapositions of natural image cues. It is hypothesized that images with unusual combinations of realistic visual cues are interesting, and, neural models trained to model natural images are well-suited to creating interesting images. Art using neural models produces new images similar to those of natural images, but with weird and intriguing variations. This analysis is applied to neural art based on Generative Adversarial Networks, image stylization, Deep Dreams, and Perception Engines.

研究动机与目标

• 理解神经网络生成艺术背后的审美原则。
• 探究为何某些神经网络输出被感知为视觉上引人注目或具有艺术性。
• 识别感知线索——尤其是真实特征的非寻常组合——在生成审美吸引力中的作用。
• 将神经图像生成技术与人类对视觉兴趣和新颖性的感知联系起来。
• 在视觉线索并置的共同框架下统一多种神经艺术方法。

提出的方法

• 将神经网络艺术视为自然图像线索的并置，将图像生成视为对感知特征的操控。
• 使用在自然图像上训练的模型（例如 GANs、自编码器）生成具有非寻常线索组合的图像。
• 将该框架应用于多种技术：生成对抗网络（GANs）、DeepDream、神经风格迁移以及感知引擎（Perception Engines）。
• 通过感知分析线索组合来评估美学质量，而非依赖显式的损失函数。
• 依赖对图像输出的定性与感知评估，以衡量新颖性与视觉兴趣。
• 将生成过程视为视觉线索空间中的搜索，倾向于选择稀有或冲突的组合以实现艺术效果。

实验结果

研究问题

• RQ1 尽管基于自然图像先验，为何神经网络生成的图像仍具有审美吸引力？
• RQ2 非寻常的真实视觉线索组合如何影响艺术兴趣的感知？
• RQ3 在多大程度上可将多种神经艺术技术统一于同一感知框架之下？
• RQ4 为何在自然图像上训练的模型会产生被感知为奇特或引人入胜的图像？
• RQ5 感知线索在深度学习生成艺术的美学评价中扮演何种角色？

主要发现

• 神经网络艺术通过将真实视觉线索以非寻常或冲突的方式并置，实现审美吸引力。
• 在自然图像上训练的模型内在地学习生成合理的图像结构，这些结构可被操控以产生新颖且引人注目的变体。
• 诸如 DeepDream、GANs 和神经风格迁移等技术均通过出人意料的方式放大或重组感知线索来利用这一机制。
• 由此产生的图像并非随机，而是保持结构连贯性，使其在视觉上具有吸引力，同时呈现出奇特或梦幻的特质。
• 审美吸引力并非源于随机性或复杂性，而是源于线索错位或夸张所引入的感知新颖性。
• 该框架通过将多种神经艺术方法与基于线索的视觉意外感这一共同机制相联系，解释了其成功。