[논문 리뷰] Can AI Be as Creative as Humans?

Haonan Wang, James Zou외 9명|arXiv (Cornell University)|2024. 01. 03.

Machine Learning in Materials Science인용 수 5

한 줄 요약

논문은 AI가 인간 창작자가 생성한 조건부 데이터를 충분히 적합시킬 수 있다면 인간과 유사한 창의성에 도달할 수 있다고 주장하며, Relative Creativity와 Statistical Creativity를 도입하고 이론적 결과 및 자동회귀 모델의 프롬프트 및 학습에 대한 실용적 가이드를 제공합니다.

ABSTRACT

Creativity serves as a cornerstone for societal progress and innovation. With the rise of advanced generative AI models capable of tasks once reserved for human creativity, the study of AI's creative potential becomes imperative for its responsible development and application. In this paper, we prove in theory that AI can be as creative as humans under the condition that it can properly fit the data generated by human creators. Therefore, the debate on AI's creativity is reduced into the question of its ability to fit a sufficient amount of data. To arrive at this conclusion, this paper first addresses the complexities in defining creativity by introducing a new concept called Relative Creativity. Rather than attempting to define creativity universally, we shift the focus to whether AI can match the creative abilities of a hypothetical human. The methodological shift leads to a statistically quantifiable assessment of AI's creativity, term Statistical Creativity. This concept, statistically comparing the creative abilities of AI with those of specific human groups, facilitates theoretical exploration of AI's creative potential. Our analysis reveals that by fitting extensive conditional data without marginalizing out the generative conditions, AI can emerge as a hypothetical new creator. The creator possesses the same creative abilities on par with the human creators it was trained on. Building on theoretical findings, we discuss the application in prompt-conditioned autoregressive models, providing a practical means for evaluating creative abilities of generative AI models, such as Large Language Models (LLMs). Additionally, this study provides an actionable training guideline, bridging the theoretical quantification of creativity with practical model training.

연구 동기 및 목표

• Hypothesis anchor population을 사용하여 AI 창의성을 인간 창작자에 상대적으로 평가하는 프레임워크를 제안한다.
• AI의 인간 창의력을 모방하거나 따라잡는 능력을 정량화하기 위해 Relative Creativity와 Statistical Creativity를 정의한다.
• AI가 인간과 비교하여 창의성을 보일 수 있게 하는 학습 데이터 요구사항과 조건을 분석한다.
• LLMs에 적용 가능한 자기회귀 및 프롬프트-컨텍스추얼화된 모델에 대한 이론적 결과를 개발한다.
• 조건부 데이터와 생성 과정을 강조하는 실용적인 학습 가이드를 제시한다.

제안 방법

• Relative Creativity를 Biographical information이 주어졌을 때 인간 창작자에 의해 Plausible한 사람의 결과와 구별될 수 없는 AI 산출물로 도입한다.
• 실험 가능한 실인실험>95? 대신 Real human creators의 표본에 대한 기대 평가자 손실을 통해 Statistical Creativity를 정의하고 구체적인 경계(정리 1)를 증명한다.
• 자연어 기반 평가 척도 E1(q)로 로그-가능도 기반 메트릭을 갖는 Statistical Creativity를 자기회귀 모델에 특화하고, Assumption 1(정리 2)을 KL-발산 기반으로 제시한다.
• LLMs에 적용 가능한 프롬프트-컨텍추얼화된 설정으로 프레임워크를 확장하고, E2, E3 및 Corollaries 1과 2(Corollaries 1–2)를 정의한다.
• 생성 조건과 과정의 포착이 단순한 원시 생성 데이터가 아님을 강조하는 학습 가이드를 제공한다.
• 일반화와의 연관성을 논의하고 conditional creativity loss 하의 일반화 경계에 대한 Corollary 3을 제시한다.

실험 결과

연구 질문

• RQ1 그럴듯한 평가 하에서 AI 모델이 가설적 인간 창작자에 비견되는 창의성에 도달할 수 있는가?
• RQ2 실제 인간 창작자에 비해 AI가 Statistical Creativity를 보이기 위한 데이터와 학습 조건은 무엇인가?
• RQ3 자기회귀 모델과 프롬프트 설정을 어떻게 사용하여 AI 창의성을 실용적으로 평가할 수 있는가?
• RQ4 생성 조건을 AI 학습에 포함시키는 이론적·실용적 함의는 무엇인가?
• RQ5 프롬프트-컨텍스트화가 LLM의 AI 창의성 측정에 어떤 영향을 미치는가?

주요 결과

• AI가 인간이 생산한 조건부 데이터를 충분히 적합시키면 인간만큼 창의적일 수 있다는 이론적 결과.
• Relative Creativity(가상의 인간에 대한 상대 벤치마크)와 Statistical Creativity(데이터 주도적인 인간 창작자와의 유사성) 도입.
• 자기회귀 모델의 창의성은 로그-가능도 기반 메트릭(E1)과 샘플 크기 한계(정리 2)로 측정될 수 있음을 보인다.
• 프롬프트 기반 맥락에서의 확장(Corollaries 1 및 2)으로 LLM의 창의성이 프롬프트 설정에서 어떻게 평가될 수 있는지 보여준다.
• 생성 조건과 과정을 포함하는 학습 지침을 강조하여 창의성을 촉진한다(주석 7).
• Corollary 3은 창의성 손실 최소화와 일반화 경계 간의 연결을 제시하여 이론적 창의성과 실용적 학습 결과를 연결한다.