[논문 리뷰] The Creativity of Text-to-Image Generation

Jonas Oppenlaender|arXiv (Cornell University)|2022. 05. 13.

Data Visualization and Analytics인용 수 4

한 줄 요약

이 논문은 기존의 창의성에 대한 제품 중심 시각이 텍스트-이미지 생성에서 인간 창의성의 전반적인 범위를 포괄하지 못한다고 주장하며, 대신 로즈의 '4P' 모델(제품, 사람, 과정, 환경)을 활용한 과정 및 환경 중심 접근을 제안한다. 프롬프트 엔지니어링과 온라인 커뮤니티가 창의적 실천의 핵심임을 강조하며, 창의성이 단지 최종 이미지 출력에 국한되지 않고 인간-AI 상호작용과 커뮤니티 기반 학습을 통해 유도된다고 밝힌다.

ABSTRACT

Text-guided synthesis of images has made a giant leap towards becoming a mainstream phenomenon. With text-to-image generation systems, anybody can create digital images and artworks. This provokes the question of whether text-to-image generation is creative. This paper expounds on the nature of human creativity involved in text-to-image art (so-called "AI art") with a specific focus on the practice of prompt engineering. The paper argues that the current product-centered view of creativity falls short in the context of text-to-image generation. A case exemplifying this shortcoming is provided and the importance of online communities for the creative ecosystem of text-to-image art is highlighted. The paper provides a high-level summary of this online ecosystem drawing on Rhodes' conceptual four P model of creativity. Challenges for evaluating the creativity of text-to-image generation and opportunities for research on text-to-image generation in the field of Human-Computer Interaction (HCI) are discussed.

연구 동기 및 목표

• 텍스트-이미지 생성에서 창의성의 제품 중심 정의를 도전하며, 창의성을 최종 이미지의 독창성과 효과성으로만 환원하는 것을 막는다.
• 텍스트-이미지 예술에서 창의적 과정은 출력만 평가하는 데서는 포착되지 않으며, 인간-AI 상호작용과 커뮤니티적 맥락에 주목해야 한다는 것을 입증한다.
• 온라인 커뮤니티가 프롬프트 엔지니어링 및 큐레이션과 같은 새로운 창의적 실천을 형성하고 지원하는 데서 수행하는 역할을 부각한다.
• AI 생성 예술에서 창의성을 평가하는 프레임워크를 과정, 사람, 환경(환경)을 포함하도록 전환할 것을 주장한다.
• 프롬프트 엔지니어링과 공동 창작 협업을 지원하는 공창적 시스템을 설계하기 위한 인간-컴퓨터 상호작용(HCI) 연구 기회를 규명한다.

제안 방법

• 텍스트-이미지 생성에서 인간 창의성을 분석하기 위한 개념적 프레임워크로 로즈의 '4P' 창의성 모델(제품, 사람, 과정, 환경)을 채택했다.
• 반복적 개선과 실험을 포함하는 프롬프트 엔지니어링을 핵심 창의적 실천으로 삼아, 텍스트-이미지 예술 창작의 사례 연구를 분석했다.
• 지식 공유, 피드백 루프, 집단적 학습을 가능하게 하는 온라인 커뮤니티(예: Midjourney, Colab, 소셜 미디어)를 비롯한 핵심 환경(press)의 역할을 조사했다.
• 이미지 수준 및 포트폴리오 수준의 큐레이션을 창의적 행위로 탐색하며, 창작자의 의도, 미학적 판단 및 진화하는 스타일을 반영함을 밝혔다.
• 대규모 언어 모델(예: GPT-3)의 자연어 프롬프팅과 유사성을 비교하여, 텍스트-이미지 시스템에서 프롬프트 엔지니어링을 위한 설계 원칙을 도출했다.
• 향후 HCI 연구는 공창적 워크플로우를 지원하는 사용자 인터페이스 및 도구, 예를 들어 MindsEye나 커뮤니티 기반 프롬프트 템플릿을 개발하는 데 초점을 맞출 것을 제안했다.

실험 결과

연구 질문

• RQ1 제품 중심 창의성 시각은 텍스트-이미지 생성에서 인간 창의성의 전반적 범위를 어떻게 포착하지 못하는가?
• RQ2 온라인 커뮤니티는 텍스트-이미지 예술에서 프롬프트 엔지니어링과 같은 창의적 과정과 실천을 어떻게 형성하는가?
• RQ3 인간과 AI 시스템 간의 상호작용은 최종 이미지 출력을 초월해 어떤 방식으로 공창적 행위로 작용하는가?
• RQ4 '4P' 모델(제품, 사람, 과정, 환경)을 어떻게 적용하여 AI 생성 예술에서 창의성을 더 잘 이해하고 평가할 수 있는가?
• RQ5 텍스트-이미지 생성에서 프롬프트 엔지니어링과 공동 창작 협업을 지원하는 시스템을 설계하기 위한 HCI 연구의 기회는 무엇이 있는가?

주요 결과

• 최종 이미지의 독창성과 효과성만 요구하는 제품 중심 창의성 정의는 프롬프트 엔지니어링과 반복적 개선에 투입된 창의적 노고를 반영하지 못한다.
• 텍스트-이미지 생성에서 창의성은 최종 이미지 출력에만 국한되지 않고, 시행착오와 커뮤니티 피드백를 통한 프롬프트 제작 및 개선 과정에 깊이 내재되어 있다.
• 온라인 커뮤니티는 4P 모델에서 필수적인 '환경(press)' 요소로 작용하며, 공유 자원, 템플릿, 공동 학습 환경을 제공하여 창의적 실천을 형성한다.
• 이미지 수준 및 포트폴리오 수준의 큐레이션은 창작자의 미학적 판단과 진화하는 정체성을 반영하는 중요한 창의적 행위로, 프롬프트 제작을 초월한다.
• 프롬프트 엔지니어링은 자연어 상호작용을 통한 AI와의 상호작용에 맞춰진 전통적 예술 기법과 유사한 독립된 창의적 기교로 온라인 커뮤니티 내에서 발전하였다.
• 텍스트-이미지 생성의 부상은 사진의 역사적 영향과 유사한 사회적 창작 양식의 전환을 암시하며, 디지털 시대의 저작권, 기술, 창의성 정의 방식에 영향을 미칠 수 있다.