[논문 리뷰] Generative artificial intelligence enhances creativity but reduces the diversity of novel content

Anil R. Doshi, Oliver Hauser|arXiv (Cornell University)|2023. 12. 01.

Educational Games and Gamification인용 수 6

한 줄 요약

이 연구는 작가들이 스토리 아이디어로 생성형 AI(Generative AI, GenAI)를 사용하는 온라인 실험을 통해 GenAI가 인간 창의성에 미치는 영향을 조사한다. 결과적으로 GenAI는 특히 창의성이 낮은 작가들에게서는 창의성과 스토리 품질을 향상시키지만, 새로운 콘텐츠의 다양성을 감소시켜 사용자 간에 더 유사한 스토리가 많이 생성되게 한다.

ABSTRACT

Creativity is core to being human. Generative artificial intelligence (GenAI) holds promise for humans to be more creative by offering new ideas, or less creative by anchoring on GenAI ideas. We study the causal impact of GenAI on the production of a creative output in an online experimental study where some writers are could obtain ideas for a story from a GenAI platform. Access to GenAI ideas causes an increase in the writer's creativity with stories being evaluated as better written and more enjoyable, especially among less creative writers. However, GenAI-enabled stories are more similar to each other than stories by humans alone. Our results have implications for researchers, policy-makers and practitioners interested in bolstering creativity, but point to potential downstream consequences from over-reliance.

연구 동기 및 목표

• 통제된 환경에서 생성형 AI가 인간 창의적 산출물에 미치는 인과적 영향을 조사하기 위해.
• GenAI 아이디어 접근이 사용자 생성 스토리의 독창성과 다양성에 미치는 영향을 평가하기 위해.
• 기본 창의성 수준이 다른 작가들에게 GenAI가 미치는 영향의 이질성을 탐색하기 위해.
• AI 보강 창작 작업에서 향상된 스토리 품질과 감소한 신선함 사이의 상충 관계를 평가하기 위해.

제안 방법

• 기본적으로 창작된 스토리를 작성하도록 지시한 온라인 실험 연구를 수행하였다.
• 참가자를 제어군(Generative AI 접근 불가) 또는 간섭군(아이디어 생성을 위해 GenAI 접근 가능)으로 무작위로 배정하였다.
• 독립 평가자들이 평가한 표준화된 평가 척도를 사용하여 스토리 품질, 창의성, 만족도를 측정하였다.
• 내용의 다양성을 정량화하기 위해 자연어처리 기반 임베딩 모델을 사용하여 스토리 간 유사도를 측정하였다.
• 참가자의 기초 창의성 수준에 따라 결과의 차이를 분석하였다.
• GenAI 접근이 창의적 성과와 콘텐츠 다양성에 미치는 인과적 영향을 분리하기 위해 통계 모델링을 활용하였다.

실험 결과

연구 질문

• RQ1 GenAI 접근이 인간이 생성한 스토리의 인식된 품질과 창의성에 향상시키는가?
• RQ2 GenAI 사용은 작가들이 생성한 새로운 콘텐츠의 다양성에 어떤 영향을 미치는가?
• RQ3 창의성이 낮은 작가들이 GenAI를 통해 스토리 품질과 독창성 측면에서 더 크게 유익을 보는가?
• RQ4 AI를 보조로 사용한 스토리들이 AI 없이 생성된 스토리들보다 서로 더 유사해지는 정도는 어느 정도인가?
• RQ5 AI 강화 창작 워크플로우에서 콘텐츠 다양성 감소의 후속 영향은 무엇인가?

주요 결과

• GenAI 접근은 특히 창의성이 낮은 작가들 사이에서 스토리의 인식된 품질과 만족도를 유의미하게 향상시켰다.
• GenAI 보조를 받은 스토리는 AI 지원 없이 생성된 스토리보다 더 즐겁고 더 잘 쓰였다고 평가되었다.
• 높은 품질에도 불구하고 GenAI 보조 스토리는 다양성이 감소하여 상호 간에 더 유사성을 보였다.
• GenAI 보조 스토리 간의 유사성은 통계적으로 유의미하여 창작 산출물에 대한 동질화 효과를 보여주었다.
• GenAI가 창의성에 미치는 긍정적 영향은 기초 창의성 능력이 낮은 참가자들에게서 가장 두드러졌다.
• 연구는 명확한 상충 관계를 발견했다: 향상된 창의성과 품질은 낮아진 독창성과 콘텐츠 다양성의 대가를 치르며 얻어졌다.