[논문 리뷰] SARD: A Human-AI Collaborative Story Generation

Ahmed Y. Radwan, Khaled M. Alasmari외 2명|arXiv (Cornell University)|2024. 03. 03.

Artificial Intelligence in Games인용 수 4

한 줄 요약

SARD는 대규모 언어 모델(Large Language Models, LLMs)을 활용한 인간-AI 공동 창작 스토리 생성을 가능하게 하는 드래그 앤 드롭 시각적 인터페이스이다. 사용자는 노드 기반의 내러티브 구조를 통해 다중 장으로 구성된 스토리를 구축할 수 있다. 정서적 모델링을 돕는다 해도 인터페이스는 인지적 부담을 유발하며, 내러티브 복잡도에 관계없이 LLM이 생성하는 스토리는 일관되게 낮은 어휘 다양성을 보인다.

ABSTRACT

Generative artificial intelligence (GenAI) has ushered in a new era for storytellers, providing a powerful tool to ignite creativity and explore uncharted narrative territories. As technology continues to advance, the synergy between human creativity and AI-generated content holds the potential to redefine the landscape of storytelling. In this work, we propose SARD, a drag-and-drop visual interface for generating a multi-chapter story using large language models. Our evaluation of the usability of SARD and its creativity support shows that while node-based visualization of the narrative may help writers build a mental model, it exerts unnecessary mental overhead to the writer and becomes a source of distraction as the story becomes more elaborated. We also found that AI generates stories that are less lexically diverse, irrespective of the complexity of the story. We identified some patterns and limitations of our tool that can guide the development of future human-AI co-writing tools.

연구 동기 및 목표

• 다중 장 내러티브 창작을 지원하는 인간-AI 공동 창작 스토리 생성 시스템을 설계하고 평가하는 것.
• 시각적 노드 기반 인터페이스가 스토리 생성 과정에서 사용자의 인지 부담과 창작 워크플로우에 미치는 영향을 조사하는 것.
• 공동 창작 환경에서 AI가 생성한 스토리의 품질, 일관성 및 어휘 다양성 수준을 평가하는 것.
• AI 지원 스토리텔링에서 사용자가 느끼는 통제감, 주도성 및 소유감에 대한 인식을 파악하는 것.
• 현재 LLM이 내러티브 생성에 있어 창의성과 사용자 의도와의 일치성 측면에서 겪는 한계를 밝혀내는 것.

제안 방법

• SARD는 사용자가 캐릭터, 사건, 플롯 포인트를 나타내는 스토리 노드를 생성할 수 있는 드래그 앤 드롭 시각적 인터페이스를 사용한다.
• 대규모 언어 모델(Large Language Models, LLMs)은 사용자가 정의한 스토리 구조와 노드 간 관계를 바탕으로 장별 콘텐츠를 생성한다.
• 시스템은 반복적인 스토리 개발을 지원하며, 사용자가 노드의 순서를 재배치하거나 콘텐츠를 재생성할 수 있도록 한다.
• 어휘 다양성은 토큰 유형 비율(Token-Type Ratio, TTR)을 사용해 정량적으로 측정하여 생성된 스토리의 어휘 다양성 수준을 평가한다.
• 사용자 연구는 정성적 인터뷰와 사용성 설문지를 통해 창의성, 통제감, 인지 부담에 대한 인식을 평가한다.
• 참가자들은 스토리보드와 최종 내러티브를 분석하여 일관성과 다양성 수준을 평가하는 삼막대 스토리를 SARD를 통해 제작하도록 요청받았다.

Figure 1: SARD: Novel generation through interactive storyboard. The user starts with (1) where the user sets the story structure and genre. (2) is where the user can create and add elements, either character, action, or relationship, to their storyboard. (2) can also be used to navigate through dif

실험 결과

연구 질문

• RQ1 내러티브 생성을 위한 노드 기반 시각적 인터페이스가 사용자의 인지 부담과 정서적 모델 유지에 어떤 영향을 미치는가?
• RQ2 다양한 복잡도의 스토리에서 LLM이 생성한 콘텐츠가 얼마나 높은 어휘 다양성을 유지하는가?
• RQ3 구조화된 인터페이스에서 AI와 공동으로 글을 쓰는 과정에서 사용자는 자신의 주도성과 통제감을 어떻게 인식하는가?
• RQ4 LLM에 의존할 때 사용자가 겪는 주요 제약은 무엇인가?
• RQ5 인터페이스가 최종 스토리 출력의 인식된 품질과 창의성에 어떤 영향을 미치는가?

주요 결과

• 모든 참가자 대상으로 생성된 스토리의 평균 토큰 유형 비율(Token-Type Ratio, TTR)는 M = 0.47 (SD = 0.09)였으며, 이는 모든 참가자에게서 일관되게 낮은 어휘 다양성을 나타낸다.
• 모든 참가자가 SARD에 대해 긍정적인 태도를 보였으며, 초기 아이디어를 초월해 어휘를 확장하고 스토리의 복잡성을 높이는 데 도움이 되었다고 언급했다.
• 정서적 모델링을 돕는다 해도 노드 기반 인터페이스는 불필요한 인지적 부담을 유발하였으며, 특히 캐릭터와 사건이 추가로 늘어나 복잡도가 증가할수록 더욱 두드러졌다.
• 노드의 순서를 재배치하거나 프롬프트를 조정한 후에도 AI 출력이 사용자가 의도한 내러티브 흐름과 일치하지 않을 경우 참가자들이 좌절감을 느꼈다.
• 일부 참가자는 초기 브레인스토밍을 위해 외부 도구인 ChatGPT를 활용했으며, 이는 SARD가 아이디어 창출 지원에 한계를 가짐을 시사한다.
• 시스템에서 장 요약을 표시하지 않아, 장기간의 스토리 개발 중 사용자가 방향을 유지하는 데 도움이 되지 않았다는 의견이 제기되었다.

Figure 2: Results from Study 1: (a) SUS Scores, (b) MICSI Sub-Scale Scores, (c) Exploratory Question Responses.