[논문 리뷰] "It Felt Like Having a Second Mind": Investigating Human-AI Co-creativity in Prewriting with Large Language Models

Qian Wan, Siying Hu외 4명|arXiv (Cornell University)|2023. 07. 20.

Machine Learning in Materials Science참고 문헌 69인용 수 5

한 줄 요약

이 연구는 대규모 언어 모델(Large Language Models, LLMs)를 사용한 예비 작성(pre-writing) 단계에서 인간과 AI의 공동 창작을 조사하며, 인간과 AI 간의 주도권이 유동적으로 이동하는 3단계 반복적 과정—생각 도출(Ideation), 영감 유도(Illumination), 실행(Implementation)—을 규명한다. 인간은 주로 주도적인 역할을 하며, 협업 패턴, 장애 요소, 그리고 LLM 기반 창의성 지원 도구의 설계에 대한 통찰을 제공한다.

ABSTRACT

Prewriting is the process of discovering and developing ideas before a first draft, which requires divergent thinking and often implies unstructured strategies such as diagramming, outlining, free-writing, etc. Although large language models (LLMs) have been demonstrated to be useful for a variety of tasks including creative writing, little is known about how users would collaborate with LLMs to support prewriting. The preferred collaborative role and initiative of LLMs during such a creativity process is also unclear. To investigate human-LLM collaboration patterns and dynamics during prewriting, we conducted a three-session qualitative study with 15 participants in two creative tasks: story writing and slogan writing. The findings indicated that during collaborative prewriting, there appears to be a three-stage iterative Human-AI Co-creativity process that includes Ideation, Illumination, and Implementation stages. This collaborative process champions the human in a dominant role, in addition to mixed and shifting levels of initiative that exist between humans and LLMs. This research also reports on collaboration breakdowns that occur during this process, user perceptions of using existing LLMs during Human-AI Co-creativity, and discusses design implications to support this co-creativity process.

연구 동기 및 목표

• 예비 작성 단계—창작 글쓰기의 발산적 사고 단계에서 인간과 LLM 간의 협업 워크플로우 및 상호작용 역학을 이해하기 위해.
• 공동 창작 과정의 각 단계에서 인간과 LLM의 역할 및 주도권 수준을 특정하기 위해.
• 비정형적이고 반복적인 예비 작성 작업에서 인간-LLM 협업 시 발생하는 과제와 대체 전략을 밝혀내기 위해.
• 사용자 인식과 관찰된 협업 패턴을 바탕으로 향후 LLM 기반 창의성 지원 도구의 설계 통찰을 제공하기 위해.

제안 방법

• 디자인 및 글쓰기 배경을 가진 15명의 참가자와 함께 3회에 걸친 질적 연구를 수행하였다.
• 참가자들은 GPT-3를 LLM으로 사용하여 스토리 작성 및 슬로건 작성이라는 두 가지 창작 과제를 수행하였다.
• 반복 인터뷰와 화면 녹화 세션을 활용하여 협업 워크플로우 및 주도권 이동을 분석하였다.
• 주제 분석을 적용하여 반복되는 협업 패턴, 장애 요소 및 사용자 인식을 규명하였다.
• 관찰된 워크플로우를 바탕으로 3단계 Human-AI Co-creativity 모델을 개발하였다: 생각 도출, 영감 유도, 실행.
• 향후 도구 설계를 위한 정보를 제공하기 위해 설명 가능성 및 AI 문서화에 대한 사용자 요청을 수집하고 분류하였다.

실험 결과

연구 질문

• RQ1 RQ1: 사용자가 LLM과 함께 예비 작성할 때 채택하는 협업 과정, 워크플로우 또는 전략는 무엇이며, 이 과정에서 LLM의 역할은 무엇인가요?
• RQ2 RQ2: 기존 LLM을 사용하여 예비 작성에 지원할 때 존재하는 과제는 무엇이며, 이러한 과제는 협업에 어떤 영향을 미치나요?
• RQ3 RQ3: 사용자는 예비 작성 중 LLM의 주도권과 행동 방식을 어떻게 인식하며, 효과적인 공동 창작을 지원하는 설계 요소는 무엇인가요?

주요 결과

• 참가자들은 생각 도출(idea generation), 영감 유도(idea refinement and insight), 실행(actionable output creation)의 3단계 반복적 인간-AI 공동 창작 과정을 따르며 협업하였다.
• 인간은 항상 협업에서 주도적인 역할을 하였으며, 특히 과정의 시작과 방향 설정에서 주도적인 영향을 미쳤다. 주도권은 인간과 LLM 간에 유동적으로 이동하였다.
• 일반적인 협업 장애 요소로는 LLM이 문화적으로 편향되거나 관련성이 없는 제안을 내놓는 것과, 다양한 아이디어 도출을 위해 효과적인 프롬프트를 구성하기 어려운 사용자 문제점이 있었다.
• LLM의 한계를 극복하기 위해 사용자들은 끊임없이 프롬프트를 재구성하거나, 여러 변형을 요청하거나, 더 체계적인 입력 형식으로 전환하는 등의 대체 전략을 자주 사용하였다.
• 사용자들은 기술적 모델 세부 정보보다는 프롬프트 전략과 입력/출력 가이드라인의 투명성을 우선시하였으며, 이는 창의성 도구에서 접근성 있는 AI 문서화의 필요성을 시사한다.
• 본 연구는 기존 LLM이 초기 예비 작성 단계에서 원본적이고 발산적인 사고를 지원하지 못함을 드러내었으며, 이는 새로운 아이디어보다는 일관성과 타당성을 우선시하기 때문이다.