[论文解读] Digits that are not: Generating new types through deep neural nets

Cherti, Akın Kazakçıand Mehdi, Balázs Kégl|arXiv (Cornell University)|Jun 14, 2016

Artificial Intelligence in Games参考文献 26被引用 3

一句话总结

本文提出了一种基于知识的创造力框架，利用深度生成自编码器生成新颖、未见过的数字类型，这些数字类型在语义上一致，但不属于任何已知的数字类别。通过从手写数字中学习分层特征，该模型通过组合采样生成新符号，展示了人工智能代理如何基于内部知识而非外部强加的价值函数自主探索新颖性。

ABSTRACT

For an artificial creative agent, an essential driver of the search for novelty is a value function which is often provided by the system designer or users. We argue that an important barrier for progress in creativity research is the inability of these systems to develop their own notion of value for novelty. We propose a notion of knowledge-driven creativity that circumvent the need for an externally imposed value function, allowing the system to explore based on what it has learned from a set of referential objects. The concept is illustrated by a specific knowledge model provided by a deep generative autoencoder. Using the described system, we train a knowledge model on a set of digit images and we use the same model to build coherent sets of new digits that do not belong to known digit types.

研究动机与目标

• 解决现有创造性系统依赖外部强加的价值函数来实现新颖性的局限性。
• 使人工智能代理能够基于学习到的领域知识，发展自身的内部价值体系以实现新颖性。
• 探索生成式深度神经网络在已知物体类型之外的应用，重点在于创造新的语义类型。
• 证明深度自编码器能够生成连贯且新颖的符号，这些符号虽无法被识别为标准数字，但仍保持语义一致性。
• 为研究机器如何通过自构建的知识模型自主驱动创造性探索提供基础。

提出的方法

• 在手写数字（0–9）数据集上训练深度生成自编码器，以学习分层且解耦的特征表示。
• 使用训练好的编码器将输入数字映射到表示抽象、组合性特征的学习潜在空间。
• 通过以非标准方式组合不同数字的特征，在潜在空间中应用组合采样策略。
• 通过生成解码器解码采样后的潜在向量，生成新颖且视觉上连贯的类似数字的符号。
• 通过自编码器重建已知数字的能力，确保语义一致性，从而保留结构和组合规则。
• 通过感知分析评估新颖性——结果无法被识别为标准数字，但呈现出合理且梦幻般的符号形态。

实验结果

研究问题

• RQ1 深度生成模型能否在不包含于训练数据的情况下生成新颖的物体类型，同时保持语义一致性？
• RQ2 人工智能代理如何在不依赖外部定义的适应度或价值函数的情况下生成新颖性？
• RQ3 自我学习的知识模型在多大程度上能够引导在某一领域中发现新类型？
• RQ4 深度自编码器的内部表征在实现生成语义上合理但新颖的符号方面起到什么作用？
• RQ5 生成模型潜在空间中的组合采样能否导致对已知类别之外的“未知”类型的系统性探索？

主要发现

• 该模型成功生成了一组新颖的类似数字的符号，这些符号无法被识别为标准数字（0–9），但其形态上显得连贯且合理。
• 生成的符号表现出与领域一致的结构和组合规律性，表明模型已学习到抽象的、语义层面的特征。
• 该系统通过探索学习到的特征空间中的盲区，展示了基于知识的创造力，生成了既新颖又语义合理的对象。
• 该方法避免了对外部评估函数的依赖，转而使系统能够基于其自身对领域的内部模型来探索新颖性。
• 结果表明，深度生成自编码器不仅可用于重建，还可用于系统性探索已知类别之外的新类型。
• 该方法为未来系统提供了基础，使其能够通过与环境的交互自主构建价值函数，而非依赖预设的标准。