[论文解读] Automating Generative Deep Learning for Artistic Purposes: Challenges and Opportunities

Sebastian Berns, Terence Broad+2 more|University of the Arts London Research Online (University of the Arts London)|Jul 5, 2021

Aesthetic Perception and Analysis参考文献 51被引用 4

一句话总结

本文提出了一种统一框架，通过将自动化机器学习（AutoML）原则与计算创造力理论相结合，实现艺术应用中生成式深度学习的自动化。它将创造性职责（如网络架构选择、损失函数设计和模型微调）识别为自动化目标，使生成式系统能够通过与用户的协同创造互动，实现更高的创造性自主性。

ABSTRACT

We present a framework for automating generative deep learning with a specific focus on artistic applications. The framework provides opportunities to hand over creative responsibilities to a generative system as targets for automation. For the definition of targets, we adopt core concepts from automated machine learning and an analysis of generative deep learning pipelines, both in standard and artistic settings. To motivate the framework, we argue that automation aligns well with the goal of increasing the creative responsibility of a generative system, a central theme in computational creativity research. We understand automation as the challenge of granting a generative system more creative autonomy, by framing the interaction between the user and the system as a co-creative process. The development of the framework is informed by our analysis of the relationship between automation and creative autonomy. An illustrative example shows how the framework can give inspiration and guidance in the process of handing over creative responsibility.

研究动机与目标

• 解决生成式深度学习缺乏统一自动化框架的问题，尤其是在艺术语境下。
• 不仅将自动化视为技术效率的提升，更将其重新定位为赋予系统创造性责任的路径。
• 识别并标准化生成式DL流水线中可自动化的关键决策点，以提升系统自主性。
• 通过将自动化目标与艺术生成中的创造性决策对齐，弥合AutoML与计算创造力之间的鸿沟。
• 为未来在自动化、协同创造型生成式AI系统方面的研究与应用，提供结构化且可扩展的框架。

提出的方法

• 采用自动化机器学习（AutoML）的核心概念，特别是神经架构搜索（NAS）和超参数优化，应用于生成式模型。
• 将艺术类生成式深度学习流水线映射，以识别适合自动化的决策点，如模型架构、损失函数和训练超参数。
• 整合计算创造力（CC）理论，将“创造性责任”定义为自动化的靶点，将人机交互框架化为协同创造。
• 提出一个多层级自动化模型，使系统通过自动调整生成器、损失函数和训练目标，逐步实现从弱到强的自我控制。
• 使用FACE模型（创造性事件分析框架）来评估和分类生成系统中通过自动化引入的新创造性行为。
• 设计示范性案例，展示自动化如何逐步将创造性控制权从人类转移至系统，包括自我反思与自我控制机制。

实验结果

研究问题

• RQ1 如何系统性地自动化艺术应用中的生成式深度学习流水线，以提升AI系统的创造性自主性？
• RQ2 在艺术语境下，生成式DL流水线中的哪些具体决策职责最适于自动化？
• RQ3 对创造性责任的自动化如何与计算创造力及元创造力的理论基础相契合？
• RQ4 生成式系统通过自动化决策，可在何种方式下实现逐步增强的自我控制与自我意识？
• RQ5 如何通过结构化自动化，保持并增强人类用户与自动化生成式系统之间的协同创造互动？

主要发现

• 本文识别出一个关键缺口：尽管AutoML在判别式模型上已取得进展，但生成式深度学习的自动化——尤其在艺术用途方面——仍研究不足。
• 艺术类生成式DL应用更重视文化价值与审美新颖性，而非数据分布的保真度，因此需要与标准ML流水线不同的自动化目标。
• 对创造性责任（如损失函数设计、模型架构选择和训练目标调优）的自动化，可使系统展现出更强的创造性自主性。
• 系统可通过反向传播和自我反思实现生成器意识，通过基于输出评估自主修改损失函数实现目标意识。
• 该框架支持从弱自我控制（参数更新）到强自我控制（架构与目标自动化）的创造性自主性谱系，从而开启新型人机协同创造形式。
• FACE模型提供了一种可行的评估机制，可识别并分类通过自动化引入的新创造性行为，验证了该框架在创造性责任方面的实际影响。