[论文解读] Mechanisms of Artistic Creativity in Deep Learning Neural Networks

Lonce Wyse|arXiv (Cornell University)|Jun 30, 2019

Reinforcement Learning in Robotics参考文献 22被引用 5

一句话总结

本文识别出深度学习神经网络中艺术创造力的五种行为特征——独创性、灵活性、精细度、流畅性与审美品质，证明这些特征并非刻意设计，而是源自原本用于分类任务的网络架构中偶然产生的结果。这些特征背后的机制源于感知计算过程，揭示机器创造力并非神秘莫测，而是根植于复杂但非创造性的神经结构之中。

ABSTRACT

The generative capabilities of deep learning neural networks (DNNs) have been attracting increasing attention for both the remarkable artifacts they produce, but also because of the vast conceptual difference between how they are programmed and what they do. DNNs are 'black boxes' where high-level behavior is not explicitly programmed, but emerges from the complex interactions of thousands or millions of simple computational elements. Their behavior is often described in anthropomorphic terms that can be misleading, seem magical, or stoke fears of an imminent singularity in which machines become 'more' than human. In this paper, we examine 5 distinct behavioral characteristics associated with creativity, and provide an example of a mechanisms from generative deep learning architectures that give rise to each these characteristics. All 5 emerge from machinery built for purposes other than the creative characteristics they exhibit, mostly classification. These mechanisms of creative generative capabilities thus demonstrate a deep kinship to computational perceptual processes. By understanding how these different behaviors arise, we hope to on one hand take the magic out of anthropomorphic descriptions, but on the other, to build a deeper appreciation of machinic forms of creativity on their own terms that will allow us to nurture their further development.

研究动机与目标

• 通过分析其机制起源，揭开深度学习中艺术创造力感知的神秘面纱。
• 识别并解释生成式深度神经网络中与创造力相关的五项行为特征。
• 证明这些创造性行为源自非创造性的、以分类为导向的架构，是偶然产生的结果。
• 在不依赖拟人化隐喻的前提下，促进对机器创造力的更深层次理解。
• 提供一个无需依赖人类中心主义隐喻的、培育和开发人工创造性系统的方法论框架。

提出的方法

• 分析自编码器和生成对抗网络等生成式深度学习架构，以识别产生创造性行为的机制。
• 将五项关键创造力特征——独创性、灵活性、精细度、流畅性与审美品质——映射到特定的架构与优化动力学上。
• 追踪这些特征如何从标准分类网络中使用的反向传播、权重初始化和激活函数中涌现。
• 研究生成模型中潜在空间插值与噪声注入如何产生新颖、多样且审美上可信的输出。
• 通过图像生成模型的案例研究，说明感知处理机制如何实现类似创造性的输出。
• 应用概念性分析，区分涌现的创造性行为与有意设计，强调非意图但系统性的结果。

实验结果

研究问题

• RQ1 为何生成式深度神经网络在仅经过分类任务训练的情况下，仍能产生类似艺术创造力的输出？
• RQ2 在深度神经网络中，哪些特定的架构或优化机制促成了输出中独创性与流畅性等特质的产生？
• RQ3 深度学习中的创造性行为在多大程度上是感知计算的产物，而非有意设计的结果？
• RQ4 是否可以系统性地理解并利用深度神经网络中艺术创造力的机制，而无需依赖拟人化语言？
• RQ5 以分类为导向的训练与深度网络中审美或新颖生成的涌现之间存在何种关系？

主要发现

• 艺术创造力的五项核心特质——独创性、灵活性、精细度、流畅性与审美品质——并非源自专为创造力设计的深度学习架构，而是偶然从非创造性的架构中涌现。
• 这些创造性行为源于标准训练机制，如反向传播、权重初始化和激活函数，这些机制原本用于分类任务。
• 自编码器与生成对抗网络中潜在空间的操控可产生新颖且多样的输出，证明了流畅性与独创性的实现，而无需显式编写创造性逻辑。
• 生成图像中的审美品质与网络所学习的感知表征相关，而非依赖于明确的“美”的规则。
• 促成创造力的机制深深根植于计算感知，表明机器创造力是感知学习的自然副产品。
• 将机器创造力描述为拟人化是具有误导性的；相反，这些行为应被理解为复杂但非意图性机器结构所产生的系统性结果。