[논문 리뷰] CALYPSO: LLMs as Dungeon Masters' Assistants

Andrew Zhu, Lara J. Martin외 2명|arXiv (Cornell University)|2023. 08. 15.

Topic Modeling참고 문헌 26인용 수 3

한 줄 요약

CALYPSO는 GPT-3와 같은 LLM을 사용하여 D&D의 덱스터 마스터(DM)가 만담을 생성하고 만남에 대한 아이디어를 뇌storming하는 데 도움을 주는 LLM 기반 인터페이스 시스템이다. 이 시스템은 LLM에 대해 zero-shot 프롬프팅을 활용하며, DM들은 CALYPSO가 높은 정밀도의 플레이어용 텍스트와 낮은 정밀도의 창의적 영감을 생성하여 서사 일관성을 향상시키고 인지 부하를 줄이는 데 기여함을 보고했다. 이 과정에서 인간의 창의적 주도성은 유지되었다.

ABSTRACT

The role of a Dungeon Master, or DM, in the game Dungeons & Dragons is to perform multiple tasks simultaneously. The DM must digest information about the game setting and monsters, synthesize scenes to present to other players, and respond to the players' interactions with the scene. Doing all of these tasks while maintaining consistency within the narrative and story world is no small feat of human cognition, making the task tiring and unapproachable to new players. Large language models (LLMs) like GPT-3 and ChatGPT have shown remarkable abilities to generate coherent natural language text. In this paper, we conduct a formative evaluation with DMs to establish the use cases of LLMs in D&D and tabletop gaming generally. We introduce CALYPSO, a system of LLM-powered interfaces that support DMs with information and inspiration specific to their own scenario. CALYPSO distills game context into bite-sized prose and helps brainstorm ideas without distracting the DM from the game. When given access to CALYPSO, DMs reported that it generated high-fidelity text suitable for direct presentation to players, and low-fidelity ideas that the DM could develop further while maintaining their creative agency. We see CALYPSO as exemplifying a paradigm of AI-augmented tools that provide synchronous creative assistance within established game worlds, and tabletop gaming more broadly.

연구 동기 및 목표

• 테이블톱 롤플레잉 게임, 특히 D&D에서 DM이 AI 보조 기능이 필요로 하는 요소를 이해하기 위해.
• 실시간으로 상황 인식이 가능한 서사 및 기계적 보조 기능을 제공하는 시스템을 설계하고 평가하기 위해.
• LLM을 동기화된 공동 창작자로 통합하면서도 인간의 창의적 주도권을 유지하기 위해.
• LLM이 피팅 테이닝(fine-tuning)에 의존하지 않고도 주제에 부합하고 세계관을 반영한 콘텐츠를 생성할 수 있는 방법을 탐색하기 위해.

제안 방법

• 핵심 고통점과 원하는 AI 기능을 파악하기 위해 12명의 경험이 풍부한 DM과의 형성적 인터뷰를 실시하였다.
• 만남 요약, 주제적 묘사, 뇌storm링 아이디어 생성을 위한 zero-shot 프롬프팅을 활용한 LLM을 사용하는 3단계 시스템인 CALYPSO를 개발하였다.
• 신화, 민속, 일반 지각을 활용하여 서사 일관성, 주제 일관성 강조 및 게임 메커니즘 회피를 유도하는 프롬프트를 설계하였다.
• 4개월간 71명의 플레이어가 참여한 대규모 D&D 캠페인에 CALYPSO를 통합하여 실시간 사용을 연구하기 위해 HCI 방법론을 활용하였다.
• DM 피드백을 기반으로 프롬프트와 인터페이스를 반복적으로 개선하여, 저장벽, 고기능 통합을 중점으로 하였다.
• 채팅 기반 LLM에서 일관성과 맥락 유지 보장을 위해 역할 주석(시스템, 사용자, 어시스턴트)을 포함한 Markdown 형식의 프롬프트를 사용하였다.

실험 결과

연구 질문

• RQ1 DM은 D&D 세션 중 서사적 복잡성과 기계적 복잡성을 어떻게 관리하고 있는가?
• RQ2 DM이 서사 일관성을 유지하고 인지 부하를 줄이기 위해 가장 유용한 AI 생성 콘텐츠 유형은 무엇인가?
• RQ3 LLM은 피팅 테이닝 없이도 주제에 부합하고 세계관을 반영한 콘텐츠를 어떻게 생성할 수 있는가?
• RQ4 AI 도구는 창의적 주도권을 유지하면서 인간 DM을 어떻게 지원할 수 있는가?

주요 결과

• DM들은 CALYPSO가 플레이어에게 바로 제시할 수 있는 최소한의 편집으로도 높은 정밀도의 서사적 묘사를 생성했다고 보고했다.
• 시스템은 DM이 자신의 서사적 목소리와 스타일을 유지하면서 확장할 수 있는 낮은 정밀도의 창의적 아이디어를 성공적으로 생성했다.
• LLM은 최소한의 또는 명시적 세계관 정보가 주어져도 신화와 문화 지식을 기반으로 주제에 부합하는 서사적 공감각을 보였으며, 주제적 일반 지각 추론 능력을 보였다.
• CALYPSO는 4개월 동안 지속적으로 사용되어 창의적이고 서사 중심의 플레이어들 사이에서 지속적인 참여와 인식된 가치를 보였다.
• DM들은 시스템이 규칙집이나 스탯 생성기보다는 뇌storm링 파트너로 기능할 때 더 선호했으며, 서사적 요소와 캐릭터 간 상호작용에 중점을 두었다.
• 주제적·서사적 일관성을 유도하기 위해 명시적 프롬프팅이 필수적이었으며, 이를 생략할 경우 LLM은 기계적 또는 통계적 묘사로 기본 동작을 하였다.