[论文解读] Active Divergence with Generative Deep Learning -- A Survey and Taxonomy

Terence Broad, Sebastian Berns+2 more|arXiv (Cornell University)|Jul 12, 2021

Artificial Intelligence in Games参考文献 52被引用 6

一句话总结

本文对生成式深度学习中的主动发散技术进行了全面综述与分类，聚焦于能够使模型创造性地偏离训练数据分布而非简单复制数据的方法。它识别出关键策略，如模型操控、潜在空间优化和外部知识融合，并提出了超越数据拟合的自主性、创造性AI系统未来研究方向。

ABSTRACT

Generative deep learning systems offer powerful tools for artefact generation, given their ability to model distributions of data and generate high-fidelity results. In the context of computational creativity, however, a major shortcoming is that they are unable to explicitly diverge from the training data in creative ways and are limited to fitting the target data distribution. To address these limitations, there have been a growing number of approaches for optimising, hacking and rewriting these models in order to actively diverge from the training data. We present a taxonomy and comprehensive survey of the state of the art of active divergence techniques, highlighting the potential for computational creativity researchers to advance these methods and use deep generative models in truly creative systems.

研究动机与目标

• 解决生成式深度学习模型在创造性地偏离训练数据分布方面的局限性。
• 综述并分类新兴的主动操控模型以生成新颖、非复制性作品的技术。
• 识别关键研究空白与推动自主性、创造性生成系统发展的未来方向。
• 通过使系统超越数据拟合，支持计算创造力与创造力支持工具。
• 倡导开发新型评估指标与目标函数，以促进有意义的发散。

提出的方法

• 在计算创造力、艺术与人工智能研究领域，构建主动发散技术的分类体系。
• 将方法归类为网络弯曲、潜在空间优化与模型重写等类别。
• 分析条件与非条件生成模型（包括VAE、GAN与基于流的模型）在发散潜力方面的表现。
• 探索利用外部知识源与符号化表示来引导创造性模型操控。
• 提出多智能体系统与开放式的强化学习作为实现自主创造性行为的框架。
• 引入通过数据收集与语义特征操控来制定并实现系统意图的概念。

实验结果

研究问题

• RQ1 如何主动操控生成式深度学习模型，以生成在训练数据中不存在、且具有意义发散的作品？
• RQ2 在不同研究领域中，主动发散技术的关键技术与概念类别是什么？
• RQ3 如何整合外部知识与语义关系，以指导创造性模型的修改？
• RQ4 多智能体系统与强化学习在实现自主创造性发散方面发挥什么作用？
• RQ5 需要哪些新型评估指标与目标函数，以评估发散生成作品的质量与新颖性？

主要发现

• 主动发散技术如网络弯曲与潜在空间优化，可使模型生成训练数据中不存在的新颖作品。
• 条件生成模型（如pix2pix）可通过图像翻译任务中的输入到输出映射，实现受控发散。
• 模型重写与架构操控可生成混合或概念融合的输出，例如结合不同类别的特征。
• 外部知识整合可实现超越人工干预的更灵活、语义导向的创造性控制。
• 多智能体系统与开放式强化学习为实现自主创造性行为提供了路径，但目前仍处于初级阶段。
• 缺乏标准化评估指标仍是推动与基准化主动发散方法的主要障碍。