[논문 리뷰] Creative Writing with an AI-Powered Writing Assistant: Perspectives from Professional Writers

Daphne Ippolito, Ann Yuan외 2명|arXiv (Cornell University)|2022. 11. 09.

Topic Modeling인용 수 49

한 줄 요약

이 논문은 Wordcraft라는 AI 보조 작문 편집기를 사용한 13명의 전문 작가를 대상으로 한 장기 연구를 보고하며, 창작 작업 흐름, 한계, 그리고 창의적 작문에서 AI의 역할을 탐구한다. 보이스(작가의 어조) 유지의 어려움, 전형성(클리셰) 과다 의존, 생산적 협업을 위한 사용자 인터페이스의 중요성 같은 도전을 강조한다.

ABSTRACT

Recent developments in natural language generation (NLG) using neural language models have brought us closer than ever to the goal of building AI-powered creative writing tools. However, most prior work on human-AI collaboration in the creative writing domain has evaluated new systems with amateur writers, typically in contrived user studies of limited scope. In this work, we commissioned 13 professional, published writers from a diverse set of creative writing backgrounds to craft stories using Wordcraft, a text editor with built-in AI-powered writing assistance tools. Using interviews and participant journals, we discuss the potential of NLG to have significant impact in the creative writing domain--especially with respect to brainstorming, generation of story details, world-building, and research assistance. Experienced writers, more so than amateurs, typically have well-developed systems and methodologies for writing, as well as distinctive voices and target audiences. Our work highlights the challenges in building for these writers; NLG technologies struggle to preserve style and authorial voice, and they lack deep understanding of story contents. In order for AI-powered writing assistants to realize their full potential, it is essential that they take into account the diverse goals and expertise of human writers.

연구 동기 및 목표

• 다양한 배경과 장르에 걸쳐 전문 작가들이 AI 기반의 작문 도우미와 어떻게 상호작용하는지 평가한다.
• Wordcraft를 사용할 때 브레인스토밍, 초안 작성, 세계관 구축을 포함한 작업 흐름을 이해한다.
• 전문가에게 유용성에 영향을 미치는 문체, 어조, 콘텐츠 이해의 한계를 식별한다.

제안 방법

• 다양한 배경의 13명의 기성 작가를 선정하여 8주간 Wordcraft를 사용해 1,000-1,500단어 분량의 이야기를 쓰게 했다.
• 참여자당 저널과 두 차례 면담을 통해 개방형 질적 피드백을 수집했다.
• 저널과 면담을 코드화하여 작업 흐름, 정신 모델, 인터페이스/AI 한계에 관한 주제를 도출했다.
• Wordcraft의 제어 요소와 채팅봇 인터페이스를 설명하고 그것이 작문 프로세스에 어떤 영향을 미치는지 분석했다.

실험 결과

연구 질문

• RQ1 전문 작가들이 Wordcraft와 같은 AI 보조 도구를 자신의 작문 작업 흐름에 어떻게 통합하는가?
• RQ2 브레인스토밍, 세계관 구축, 초안 작성에 대해 AI가 제시하는 제안을 사용할 때 어떤 작업 흐름이 나타나는가?
• RQ3 작가의 어조 보존, 전형성 회피, 이야기 내용 이해 측면에서 AI 작문 보조 도구의 주요 한계는 무엇인가?
• RQ4 사용자 인터페이스와 채팅봇 상호작용이 전문가 작가의 AI와의 협업에 어떤 영향을 미치는가?
• RQ5 AI 도구가 전문 작가를 더 잘 지원하도록 어떤 개선이 필요하다고 보는가?

주요 결과

• 작가들은 Wordcraft를 브레인스토밍 파트너, 공동 작가, 베타 리더, 연구 보조자로 활용했으며 개인마다 강조점이 달랐다.
• 인터페이스 디자인과 AI의 제어 가능성은 생산적인 협업과 도구의 채택에 상당한 영향을 미친다.
• AI가 생성한 콘텐츠는 종종 특유의 어조가 부족했고 품질이 다양했으며 무미무미하거나 트로프가 많은 제안으로 기울는 경향이 있었다.
• 참여자들은 아이디어 도출, 세계관 상세 묘사, 재작성, 즉흥 파트너로의 활용 등 떠오르는 작업 흐름을 보였지만 종종 AI 산출물을 직접 선별하고 편집해야 했다.
• 채팅봇 인터페이스는 브레인스토밍에 유용했지만 이야기 내용이나 문체 선택에 대해 의미 있고 주관적인 지침을 제공하는 데 어려움을 겪었다.
• 더 작고 덜 정교한 모델은 때로 더 흥미로운 오류를 만들었고, 더 큰 모델은 일관성을 제공했으나 문체 제어와 신선함을 저해했다.