[論文レビュー] Can AI Be as Creative as Humans?

Haonan Wang, James Zou+9 more|arXiv (Cornell University)|Jan 3, 2024

Machine Learning in Materials Science被引用数 5

ひとこと要約

本論文は、AIが人間の創造物によって生成された条件付きデータを十分に適合させることができれば、人間に近い創造性に到達できると主張し、Relative CreativityとStatistical Creativityを導入し、自己回帰モデルの promptingとトレーニングに関する理論的結果と実践的ガイドラインを提示する。

ABSTRACT

Creativity serves as a cornerstone for societal progress and innovation. With the rise of advanced generative AI models capable of tasks once reserved for human creativity, the study of AI's creative potential becomes imperative for its responsible development and application. In this paper, we prove in theory that AI can be as creative as humans under the condition that it can properly fit the data generated by human creators. Therefore, the debate on AI's creativity is reduced into the question of its ability to fit a sufficient amount of data. To arrive at this conclusion, this paper first addresses the complexities in defining creativity by introducing a new concept called Relative Creativity. Rather than attempting to define creativity universally, we shift the focus to whether AI can match the creative abilities of a hypothetical human. The methodological shift leads to a statistically quantifiable assessment of AI's creativity, term Statistical Creativity. This concept, statistically comparing the creative abilities of AI with those of specific human groups, facilitates theoretical exploration of AI's creative potential. Our analysis reveals that by fitting extensive conditional data without marginalizing out the generative conditions, AI can emerge as a hypothetical new creator. The creator possesses the same creative abilities on par with the human creators it was trained on. Building on theoretical findings, we discuss the application in prompt-conditioned autoregressive models, providing a practical means for evaluating creative abilities of generative AI models, such as Large Language Models (LLMs). Additionally, this study provides an actionable training guideline, bridging the theoretical quantification of creativity with practical model training.

研究の動機と目的

• 仮想のアンカー集団を用いて、AIの創造性を人間の創作者と比較して評価するフレームワークを提案する。
• Relative CreativityとStatistical Creativityを定義し、AIが人間の創造性を模倣または一致させる能力を定量化する。
• AIが人間と同等の創造性を示すことを可能にする訓練データの要件と条件を分析する。
• LLMsに適用可能な自己回帰モデルとプロンプト文脈化モデルの理論的結果を開発する。
• 条件付きデータと生成過程を重視した実践的な訓練ガイドラインを提供する。

提案手法

• 伝記情報を考慮したうえで、AIの出力がもっともらしい人間の創作者の出力と識別不能となる状態をRelative Creativityとして導入する。
• 実在する人間創作者のサンプルに基づく期待評価者損失を用いてStatistical Creativityを定義し、具体的な界を証明する（Theorem 1）。
• 自己回帰モデルに対して、対数尤度ベースの指標E1(q)とKL発散に基づくAssumption 1（Theorem 2）を用いてStatistical Creativityを特化させる。
• LLMsのプロンプト文脈設定に framework を拡張し、E2, E3 およびCorollaries 1と2（Corollaries 1–2）を定義する。
• 生み出し条件と生成過程を捉えることの重要性を強調した訓練ガイドラインを提供する。
• 一般化との関連を議論し、条件付き創造性損失の下で一般化境界を示すCorollary 3を提供する。

実験結果

リサーチクエスチョン

• RQ1 妥当な評価の下で、AIモデルは仮想的な人間の創作者と同等の創造性を達成できるか。
• RQ2 実在の人間の創作者に対して相対的なStatistical CreativityをAIが示すために、どのようなデータと訓練条件が必要か。
• RQ3 自己回帰モデルとプロンプト設定をどのように用いれば、AIの創造性を実践的に評価できるか。
• RQ4 AI訓練に生成条件を組み込むことの理論的・実践的含意は何か。
• RQ5 プロンプト文脈化はLLMsにおけるAI創造性の測度にどう影響するか。

主な発見

• AIが人間の創作者によって生成された十分な量の条件付きデータを適合できれば、人間と同程度の創造性を持つことができるという理論的結果。
• 仮想の人間に対する相対的ベンチマークとしてのRelative Creativityと、実在の人間の創作者へのデータ駆動的類似性を示すStatistical Creativityの導入。
• 自己回帰モデルでは、創造性を対数尤度ベースの指標（E1）とサンプルサイズ境界（Theorem 2）で測定できることの実証。
• プロンプトベースの文脈への拡張（Corollaries 1と2）により、LLMsの創造性をプロンプト設定で評価できることのデモンストレーション。
• 創造性を喚起するには、生成条件と過程の包含を強調する訓練ガイドライン（Remark 7）。
• Corollary 3は創造性損失の最小化を一般化境界と結びつけ、理論的創造性と実践的な訓練結果を結合する。