[论文解读] CALYPSO: LLMs as Dungeon Masters' Assistants

Andrew Zhu, Lara J. Martin+2 more|arXiv (Cornell University)|Aug 15, 2023

Topic Modeling参考文献 26被引用 3

一句话总结

CALYPSO 是一个由大语言模型（LLM）驱动的界面系统，通过在 GPT-3 等大语言模型上使用零-shot 提prompt，协助《龙与地下城》（D&D）的地下城主（DM）生成叙事摘要和遭遇设计的创意构思，从而辅助叙事创作。DM 表示，CALYPSO 生成了高保真、可直接呈现给玩家的文本，以及低保真、可激发创意的灵感火花，提升了叙事一致性，减轻了认知负担，同时保持了人类的创作主导权。

ABSTRACT

The role of a Dungeon Master, or DM, in the game Dungeons & Dragons is to perform multiple tasks simultaneously. The DM must digest information about the game setting and monsters, synthesize scenes to present to other players, and respond to the players' interactions with the scene. Doing all of these tasks while maintaining consistency within the narrative and story world is no small feat of human cognition, making the task tiring and unapproachable to new players. Large language models (LLMs) like GPT-3 and ChatGPT have shown remarkable abilities to generate coherent natural language text. In this paper, we conduct a formative evaluation with DMs to establish the use cases of LLMs in D&D and tabletop gaming generally. We introduce CALYPSO, a system of LLM-powered interfaces that support DMs with information and inspiration specific to their own scenario. CALYPSO distills game context into bite-sized prose and helps brainstorm ideas without distracting the DM from the game. When given access to CALYPSO, DMs reported that it generated high-fidelity text suitable for direct presentation to players, and low-fidelity ideas that the DM could develop further while maintaining their creative agency. We see CALYPSO as exemplifying a paradigm of AI-augmented tools that provide synchronous creative assistance within established game worlds, and tabletop gaming more broadly.

研究动机与目标

• 理解 DM 在《龙与地下城》等桌面角色扮演游戏中的 AI 辅助需求。
• 设计并评估一个系统，为 DM 提供实时、上下文感知的叙事与机制辅助。
• 在整合大语言模型作为同步共创者的同时，保持人类的创作主导权。
• 探索大语言模型如何在无需微调的情况下生成主题一致、符合背景设定的内容。

提出的方法

• 对 12 名经验丰富的 DM 进行了形成性访谈，以识别核心痛点和期望的 AI 功能。
• 开发了 CALYPSO，一个由三个组件构成的系统，利用大语言模型的零-shot 提prompt 技术，生成遭遇摘要、主题描述和创意构思。
• 设计了强调叙事连贯性、主题一致性以及避免涉及游戏机制的提示，结合民间传说、神话和常识知识。
• 在为期四个月的大型 D&D 活动中，将 CALYPSO 集成到 71 名玩家的游戏中，使用人机交互（HCI）方法研究其在实时场景中的使用情况。
• 通过迭代设计，根据 DM 反馈优化提示和界面，重点实现低干扰、高实用性的集成。
• 采用 Markdown 格式的提示，辅以角色标注（系统、用户、助手），用于基于聊天的大语言模型，以确保一致性和上下文保留。

实验结果

研究问题

• RQ1 DM 在 D&D 游戏会话中如何管理叙事与机制的复杂性？
• RQ2 DM 认为哪些类型的 AI 生成内容最有助于维持叙事一致性并减轻认知负担？
• RQ3 如何通过提示工程使大语言模型在无需微调的情况下生成主题一致、符合背景设定的内容？
• RQ4 AI 工具应以何种方式支持而非取代人类 DM，同时保持其创作主导权？

主要发现

• DM 表示，CALYPSO 生成的叙事描述具有高保真度，可直接向玩家展示，仅需极少编辑。
• 该系统成功生成了低保真度的创意点子，DM 可在此基础上扩展，同时保持其自身的叙事风格与声音。
• 大语言模型展示了主题常识推理能力，即使在缺乏或仅有极少明确背景信息的情况下，也能生成符合背景设定的描述，其依据是神话和文化知识。
• CALYPSO 在四个月内持续被使用，表明其在注重创意与叙事的玩家群体中具有持续的参与度和感知价值。
• DM 更倾向于将系统视为创意构思伙伴，而非规则手册或属性生成器，强调叙事与角色互动。
• 明确的提示是激发主题一致性和叙事连贯性的关键；若无此类提示，大语言模型会默认生成机械或统计描述。