[論文レビュー] CALYPSO: LLMs as Dungeon Masters' Assistants

Andrew Zhu, Lara J. Martin+2 more|arXiv (Cornell University)|Aug 15, 2023

Topic Modeling参考文献 26被引用数 3

ひとこと要約

CALYPSO は、GPT-3 などの大規模言語モデル（LLM）を活用したインタフェースのシステムであり、ダンジョンマスター（DM）がダンジョンズアンドドラゴンズ（D&D）をプレイする際に、物語の要約作成やイベントのアイデア出しを支援する。ゼロショットプロンプティングを用いて、DM は高精細なプレイヤー向けのテキストと低精細な創造的インスピレーションを生成可能であり、物語の一貫性を高めつつ認知的負荷を軽減する一方で、人間の創造的主権を保ち続ける。

ABSTRACT

The role of a Dungeon Master, or DM, in the game Dungeons & Dragons is to perform multiple tasks simultaneously. The DM must digest information about the game setting and monsters, synthesize scenes to present to other players, and respond to the players' interactions with the scene. Doing all of these tasks while maintaining consistency within the narrative and story world is no small feat of human cognition, making the task tiring and unapproachable to new players. Large language models (LLMs) like GPT-3 and ChatGPT have shown remarkable abilities to generate coherent natural language text. In this paper, we conduct a formative evaluation with DMs to establish the use cases of LLMs in D&D and tabletop gaming generally. We introduce CALYPSO, a system of LLM-powered interfaces that support DMs with information and inspiration specific to their own scenario. CALYPSO distills game context into bite-sized prose and helps brainstorm ideas without distracting the DM from the game. When given access to CALYPSO, DMs reported that it generated high-fidelity text suitable for direct presentation to players, and low-fidelity ideas that the DM could develop further while maintaining their creative agency. We see CALYPSO as exemplifying a paradigm of AI-augmented tools that provide synchronous creative assistance within established game worlds, and tabletop gaming more broadly.

研究の動機と目的

• テーブルトップロールプレイングゲーム（例：D&D）における DM の AI 助成ニーズを理解すること。
• リアルタイムで文脈に応じた物語的・メカニカル支援を提供するシステムの設計と評価を行うこと。
• LLM を同期的な共同創造者として統合しながらも、人間の創造的主権を維持すること。
• 微調整に依存せずに、テーマ的に一貫性があり、ルールに配慮したコンテンツを LLM が生成する方法を調査すること。

提案手法

• 12名の経験豊富な DM に対して事前調査インタビューを実施し、主な課題と望ましい AI 機能を特定した。
• CALYPSO を開発。ゼロショットプロンプティングを用いた LLM で、イベント要約、テーマ的記述、アイデア出しを生成する 3 構成のシステムである。
• 物語の一貫性、テーマの一貫性、ゲームメカニクスの回避を重視したプロンプトを設計。神話、伝説、一般的常識を活用した。
• 4か月間にわたり 71 名のプレイヤーを含む大規模な D&D キャンペーンに CALYPSO を統合。HCI メソッドを用いてリアルタイムでの使用状況を調査した。
• DM のフィードバックに基づき、繰り返し設計を用いてプロンプトとインターフェースを最適化。低摩擦で高機能な統合を重視した。
• チャットベースの LLM での一貫性と文脈保持を確保するため、マークダウン形式のプロンプトに役割アノテーション（システム、ユーザー、アシスタント）を組み込んだ。

実験結果

リサーチクエスチョン

• RQ1 DM は現在、D&D セッション中に物語的・メカニカルな複雑さをどのように管理しているか？
• RQ2 DM が物語の一貫性を維持し、認知的負荷を軽減するために最も有用な AI 生成コンテンツの種別は何か？
• RQ3 微調整に依存せずに、LLM がテーマ的に一貫性があり、ルールに配慮したコンテンツを生成するにはどうすればよいか？
• RQ4 AI ツールは、創造的主権を保ちながら、人間の DM を補佐する形で、どのように支援できるか？

主な発見

• DM は、CALYPSO がプレイヤーに直接提示可能な最小限の編集で済む高精細な物語的記述を生成したと報告した。
• システムは、DM が自身の物語的声やスタイルを保ちつつ拡張可能な低精細な創造的アイデアを効果的に生成した。
• LLM は、最小限または明示的なルール情報が与えられても、神話や文化的知識を活用して、テーマ的に一貫した記述を生成することで、テーマ的常識的推論を示した。
• CALYPSO は 4か月にわたり一貫して使用され、創造的で物語中心のプレイヤーからの継続的関与と価値認識を示した。
• DM は、ルールブックやステータス生成ツールとしてではなく、アイデア出しの相棒としての役割を好んだ。物語的要素やキャラクター間の対話に重きを置いた。
• 明示的なプロンプトが、テーマ的・物語的一貫性を引き出すために不可欠であった。それがないと、LLM は機械的または統計的記述に自動的に戻ってしまう傾向があった。