[논문 리뷰] Co-Writing Screenplays and Theatre Scripts with Language Models: An Evaluation by Industry Professionals

Piotr Mirowski, Kory W. Mathewson외 2명|arXiv (Cornell University)|2022. 09. 29.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 로그라인에서 시작하여 프롬프트 체이닝을 통해 구조화된 생성을 통해 일관된 스크립트와 연극 각본의 공동 창작을 가능하게 하는 계층적 언어모델 시스템인 Dramatron을 소개한다. 15명의 산업 전문가를 대상으로 평가한 결과, Dramatron은 2022 엘버타인 국제 프리지 페스티벌에서 4편의 무대 공연 각본을 생성하여 인간-AI 공동 창작이 장기 서사 작문 분야에서 가능하다는 것을 입증했다.

ABSTRACT

Language models are increasingly attracting interest from writers. However, such models lack long-range semantic coherence, limiting their usefulness for longform creative writing. We address this limitation by applying language models hierarchically, in a system we call Dramatron. By building structural context via prompt chaining, Dramatron can generate coherent scripts and screenplays complete with title, characters, story beats, location descriptions, and dialogue. We illustrate Dramatron's usefulness as an interactive co-creative system with a user study of 15 theatre and film industry professionals. Participants co-wrote theatre scripts and screenplays with Dramatron and engaged in open-ended interviews. We report critical reflections both from our interviewees and from independent reviewers who watched stagings of the works to illustrate how both Dramatron and hierarchical text generation could be useful for human-machine co-creativity. Finally, we discuss the suitability of Dramatron for co-creativity, ethical considerations -- including plagiarism and bias -- and participatory models for the design and deployment of such tools.

연구 동기 및 목표

• LLM에 의한 스크립트 및 각본의 장거리 일관성 문제를 해결하기 위해, 맥락 창 크기 제약으로 인해 제한되는 문제를 해결한다.
• 전문 창작 작업 환경에서 상호작용적 인간-AI 공동 창작을 지원하는 시스템을 개발한다.
• 전문 실무자들을 통한 평가를 통해 AI 보조 각본 작성의 사용성과 예술적 가치를 평가한다.
• 편향, 도용, 참가형 설계와 같은 윤리적 고려사항을 탐구한다.
• 계층적 프롬프트 기반 기법을 통해 수천 토큰에 이르는 전장 각본(수만 토큰 이상)을 일관성 있게 생성할 수 있음을 입증한다.

제안 방법

• Dramatron은 계층적 생성 파이프라인을 사용한다: 로그라인에서 시작하여 먼저 제목과 캐릭터를 생성한다.
• 생성된 캐릭터를 프롬프트로 사용하여 설정과 비트를 포함한 장면 요약(플롯)의 시퀀스를 생성한다.
• 각 고유한 장소는 전용 프롬프트를 사용하여 기술되며, 공간적 및 환경적 맥락을 구축한다.
• 대화 생성은 장면 요약, 캐릭터 목록, 장소 기술을 하나의 프롬프트로 통합하여 수행한다.
• 프롬프트 체이닝을 통해 각 단계 간의 일관성을 유지하며, 각 출력 결과를 다음 생성 단계의 입력으로 사용한다.
• 사용자가 언제라도 개입 가능하다—수정, 재생성, 또는 계속 작성할 수 있어 상호작용적 공동 창작이 가능하다.

실험 결과

연구 질문

• RQ1 LLM를 활용한 계층적 프롬프트 기반 접근이 전문 수준의 일관성 있는 장기 스크립트와 연극 각본을 생성할 수 있는가?
• RQ2 전문 작가들은 Dramatron과 같은 AI 공동 작성 시스템의 사용성과 창작적 가치를 어떻게 평가하는가?
• RQ3 LLM을 전문 각본 작성에 사용할 경우, 편향, 도용, 저작권 문제 등의 윤리적 영향은 무엇인가?
• RQ4 장기 텍스트에서 서사 일관성을 유지하는 데 있어 계층적 생성 방식이 평면적 순차적 생성 방식보다 우수한가?
• RQ5 AI로 생성된 각본은 얼마나 잘 무대에 올라가며, 현장 관객과 평론가들로부터 긍정적인 반응을 얻을 수 있는가?

주요 결과

• Dramatron은 단일 로그라인에서 출발해 2022 엘버타인 국제 프리지 극장 페스티벌에서 무대에 올라간 4편의 전장이며 일관성 있는 각본을 성공적으로 생성했다.
• 산업 전문가들은 Dramatron이 창작 과정을 향상시키고, 유용한 아이디어 제안을 제공하며, 각본 개발 과정에서의 블로킹 현상을 줄여주었다고 보고했다.
• 무대 공연의 평론가들은 AI로 생성된 각본이 인간이 쓴 작품과 유사한 서사 일관성, 감정 깊이, 드라마틱한 구조를 보였다고 지적했다.
• 전문가들은 대화와 플롯 비트를 정교화하는 데 있어 반복적인 인간-AI 협업의 가치를 강조했으며, 사용자 제어와 개입의 중요성을 부각시켰다.
• 연구에서 저작권, 생성된 콘텐츠의 편향, 도용 문제와 같은 중대한 윤리적 우려 사항이 드러났으며, 향후 AI 공동 창작 도구에 대해 참가형 설계가 필요하다는 주장이 제기되었다.
• 전문가 피드백과 무대 결과를 통해 계층적 프롬프트 기반 접근이 평면적 생성 방식보다 장거리 일관성을 훨씬 우수하게 유지하는 것으로 입증되었다.