[논문 리뷰] Automating Creativity

Minghui Huang, Roland T. Rust|arXiv (Cornell University)|2024. 05. 11.

Creativity in Education and Neuroscience인용 수 6

한 줄 요약

본 논문은 강화 학습과 계산적 창의성의 통찰을 활용하여 단순한 생성을 넘어 창의성으로 진화시키기 위해 triple prompt-response-reward 엔지니어링 프레임워크를 제안한다.

ABSTRACT

Generative AI (GenAI) has spurred the expectation of being creative, due to its ability to generate content, yet so far, its creativity has somewhat disappointed, because it is trained using existing data following human intentions to generate outputs. The purpose of this paper is to explore what is required to evolve AI from generative to creative. Based on a reinforcement learning approach and building upon various research streams of computational creativity, we develop a triple prompt-response-reward engineering framework to develop the creative capability of GenAI. This framework consists of three components: 1) a prompt model for expected creativity by developing discriminative prompts that are objectively, individually, or socially novel, 2) a response model for observed creativity by generating surprising outputs that are incrementally, disruptively, or radically innovative, and 3) a reward model for improving creativity over time by incorporating feedback from the AI, the creator/manager, and/or the customers. This framework enables the application of GenAI for various levels of creativity strategically.

연구 동기 및 목표

• GenAI를 콘텐츠 생성에서 창의성 표현으로 전환해야 할 필요성을 동기 부여한다.
• 프롬프트, 응답 및 보상을 활용해 창의적 AI를 육성하는 프레임워크를 제안한다.
• 시간에 따라 창의성을 향상시키기 위해 AI, 창작자/관리자, 고객으로부터의 피드백을 통합한다.

제안 방법

• 목표적, 개인적 또는 사회적 새로움에 대해 판별적인 프롬프트를 산출하는 프롬프트 모델을 개발한다.
• 예상 밖의 출력을 생성하고 점진적으로 혁신적인(점진적, 파괴적, 급진적) 결과를 만들어내는 응답 모델을 개발한다.
• 다중 소스 피드백을 반영하여 시간이 지남에 따라 창의성을 향상시키는 보상 모델을 개발한다.

실험 결과

연구 질문

• RQ1 프롬프트 설계를 통해 GenAI가 점진적에서 급진적에 이르는 다양한 창의성 수준을 달성하도록 어떻게 유도할 수 있는가?
• RQ2 피드백 루프를 통해 관찰된 창의성이 시간에 따라 어떻게 향상될 수 있는가?
• RQ3 GenAI 창의성을 위한 강화 학습 접근 방식 내에서 트리플 프롬프트-리스폰스-리워드 프레임워크를 어떻게 구현할 수 있는가?

주요 결과

• GenAI에서 창의적 능력을 가능하게 하기 위해 트리플 프롬프트-리스폰스-리워드 프레임워크를 제안한다.
• 이 프레임워크는 새로움에 대한 프롬프트, 놀라운 응답, 시간이 지남에 따라 창의성을 향상시키는 보상 구분을 한다.
• 다양한 창의성 수준에 전략적으로 GenAI를 적용할 수 있게 한다.