[论文解读] Can AI Be as Creative as Humans?

Haonan Wang, James Zou+9 more|arXiv (Cornell University)|Jan 3, 2024

Machine Learning in Materials Science被引用 5

一句话总结

论文认为AI若能充分拟合由人类创作者生成的条件数据，就能达到接近人类的创造力，提出 Relative Creativity 和 Statistical Creativity，并给出理论结果与自回归模型提示与训练的实际指南。

ABSTRACT

Creativity serves as a cornerstone for societal progress and innovation. With the rise of advanced generative AI models capable of tasks once reserved for human creativity, the study of AI's creative potential becomes imperative for its responsible development and application. In this paper, we prove in theory that AI can be as creative as humans under the condition that it can properly fit the data generated by human creators. Therefore, the debate on AI's creativity is reduced into the question of its ability to fit a sufficient amount of data. To arrive at this conclusion, this paper first addresses the complexities in defining creativity by introducing a new concept called Relative Creativity. Rather than attempting to define creativity universally, we shift the focus to whether AI can match the creative abilities of a hypothetical human. The methodological shift leads to a statistically quantifiable assessment of AI's creativity, term Statistical Creativity. This concept, statistically comparing the creative abilities of AI with those of specific human groups, facilitates theoretical exploration of AI's creative potential. Our analysis reveals that by fitting extensive conditional data without marginalizing out the generative conditions, AI can emerge as a hypothetical new creator. The creator possesses the same creative abilities on par with the human creators it was trained on. Building on theoretical findings, we discuss the application in prompt-conditioned autoregressive models, providing a practical means for evaluating creative abilities of generative AI models, such as Large Language Models (LLMs). Additionally, this study provides an actionable training guideline, bridging the theoretical quantification of creativity with practical model training.

研究动机与目标

• 提出一个框架，使用一个假设的锚人口来相对于人类创作者评估 AI 创造力。
• 定义 Relative Creativity 与 Statistical Creativity，以量化 AI 模拟或匹配人类创造力的能力。
• 分析使 AI 展现出与人类相比拟的创造力所需的训练数据要求与条件。
• 针对自回归模型与针对 LLM 的提示上下文模型，发展理论结果。
• 提供强调条件数据与生成过程的实际训练指南。

提出的方法

• 在给定传记信息的前提下，将 Relative Creativity 引入为在给定传记信息的情况下，AI 输出与一个可信的人类创作者无差别。
• 通过对真实人类创作者样本的评估者损失的期望来定义 Statistical Creativity，并证明一个具体界限（Theorem 1）。
• 将 Statistical Creativity 特化到自回归模型，使用基于对数似然的度量 E1(q) 和基于 KL 散度的假设 1（Theorem 2）。
• 将框架扩展到面向 LLM 的提示-上下文设置，定义 E2、E3 以及推论 1 与推论 2（Corollaries 1–2）。
• 提供训练指南，强调捕捉生成条件与过程的重要性，而不仅仅是原始创作数据。
• 讨论与泛化的联系并给出在条件创造力损失下的泛化界限的推论 3（Corollary 3）。

实验结果

研究问题

• RQ1 在合理的评估下，AI 模型能否达到与假设的人类创作者相当的创造力？
• RQ2 相对于真实人类创作者，AI 展现 Statistical Creativity 需要哪些数据和训练条件？
• RQ3 如何利用自回归模型和提示设定来实际评估 AI 的创造力？
• RQ4 将生成条件纳入 AI 训练的理论与实际意义是什么？
• RQ5 提示-上下文化如何影响大语言模型中 AI 创造力的衡量？

主要发现

• 一个理论结果表明，如果 AI 能拟合足够量的由人类创作者生成的条件数据，它就能达到与人类同等的创造力。
• 引入 Relative Creativity（相对于假设的人类的基准）和 Statistical Creativity（数据驱动的与真实人类创作者的相似性）。
• 证明对于自回归模型，创造力可以通过基于对数似然的度量（E1）来衡量，并具有样本量界限（Theorem 2）。
• 扩展到基于提示的上下文（Corollaries 1 和 2），展示如何在提示设定中评估 LLM 的创造力。
• 训练指南强调包含生成条件与过程以促进创造力（Remark 7）。
• Corollary 3 将创造力损失最小化与泛化界限联系起来，将理论创造力连接到实际训练结果。