[논문 리뷰] On the Creativity of Large Language Models

Giorgio Franceschelli, Mirco Musolesi|arXiv (Cornell University)|2023. 03. 27.

Machine Learning in Materials Science인용 수 9

한 줄 요약

이 논문은 대형 언어 모델(LLM)이 Boden의 가치, 새로움, 놀라움 기준을 적용하여 창의적일 수 있는지 분석하고, 제품 자체를 넘는 진정한 창의성의 요구사항에 대해 논의한다.

ABSTRACT

Large Language Models (LLMs) are revolutionizing several areas of Artificial Intelligence. One of the most remarkable applications is creative writing, e.g., poetry or storytelling: the generated outputs are often of astonishing quality. However, a natural question arises: can LLMs be really considered creative? In this article, we first analyze the development of LLMs under the lens of creativity theories, investigating the key open questions and challenges. In particular, we focus our discussion on the dimensions of value, novelty, and surprise as proposed by Margaret Boden in her work. Then, we consider different classic perspectives, namely product, process, press, and person. We discuss a set of ``easy'' and ``hard'' problems in machine creativity, presenting them in relation to LLMs. Finally, we examine the societal impact of these technologies with a particular focus on the creative industries, analyzing the opportunities offered, the challenges arising from them, and the potential associated risks, from both legal and ethical points of view.

연구 동기 및 목표

• Boden의 창의성 기준(가치, 새로움, 놀라움)에 대해 LLM을 평가한다.
• LLM 맥락에서 고전적 창의성 관점(제품, 과정, 프레스, 사람)을 검토한다.
• LLM에 관련된 기계 창의성의 쉽고 어려운 문제를 식별한다.
• 창의 산업에 대한 실질적 법적, 윤리적 및 사회적 영향에 대해 논의한다.

제안 방법

• Boden의 창의성에 대한 세 가지 기준과 관련 이론(Amabile, Csikszentmihalyi, Gaut)을 검토한다.
• 자기회귀적 특성을 고려하여 가치, 새로움, 놀라움에 LLM의 능력을 매핑한다.
• LLM 창의성에 대한 제품, 과정, 프레스, 사람 관점의 함의를 논의한다.
• LLM 출력물에서 결합적, 탐구적, 변형적 창의성의 차이를 구분한다.

실험 결과

연구 질문

• RQ1 LLMs가 Boden의 기준에 따라 새롭고 놀랍고 가치 있는 산출물을 생성할 수 있는가?
• RQ2 특히 변형적 창의성에서 LLM이 진정한 창의성을 달성하는 데 어떤 한계가 있는가?
• RQ3 제품, 과정, 프레스, 사람 관점은 LLM 창의성에 어떻게 적용되는가?
• RQ4 창의 산업을 위한 LLM 창의성의 사회적, 법적, 윤리적 함의는 무엇인가?

주요 결과

• LLMs는 가치 있는 산출물을 생성할 수 있지만 현재 자기회귀적 학습 하에서 새로움과 놀라움에는 어려움이 있다.
• 현재의 학습 패러다임으로는 변형적 창의성이 가능성이 낮아 보이며; 조합적 창의성은 프롬프트나 조건부를 통해 가능할 수 있다.
• LLMs는 진정한 창의적 과정에 필요한 내재적 동기, 자율적 과정, 자기평가를 결여하고 있다.
• 창의성의 사회적 및 환경적(프레스) 차원은 불변의 LLM이 의미 있게 참여하기 어렵다.
• 무한한 창의적 주기에 더 가까이 정합을 맞추기 위한 방향으로 지속적 학습과 적응이 제안된다.
• 저작권 및 귀속을 포함한 법적·윤리적 고려가 창의적 작업에서 LLM를 배치하는 데 중심이 된다.