[論文レビュー] Creating Suspenseful Stories: Iterative Planning with Large Language Models

Kaige Xie, Mark Riedl|arXiv (Cornell University)|Feb 27, 2024

AI-based Problem Solving and Planning被引用数 4

ひとこと要約

本論文は、教師ありデータを一切用いずに、大規模言語モデル（LLM）を用いて、心理的理論に基づいた反復的プロンプト技法を提案する。この手法は、登場人物の行動を段階的に計画し、敵対的にそれらを阻害することで、緊張感を高める。その結果、ベースラインと比較して人間による評価で著しく高い緊張感が得られ、これは、心理的理論に基づいたゼロショット LLM アプローチとして、緊張感のある物語生成の分野で初めての試みである。

ABSTRACT

Automated story generation has been one of the long-standing challenges in NLP. Among all dimensions of stories, suspense is very common in human-written stories but relatively under-explored in AI-generated stories. While recent advances in large language models (LLMs) have greatly promoted language generation in general, state-of-the-art LLMs are still unreliable when it comes to suspenseful story generation. We propose a novel iterative-prompting-based planning method that is grounded in two theoretical foundations of story suspense from cognitive psychology and narratology. This theory-grounded method works in a fully zero-shot manner and does not rely on any supervised story corpora. To the best of our knowledge, this paper is the first attempt at suspenseful story generation with LLMs. Extensive human evaluations of the generated suspenseful stories demonstrate the effectiveness of our method.

研究の動機と目的

• 大規模言語モデル（LLM）を用いた緊張感のある物語生成という、まだ十分に検討されていない課題に取り組むこと。これは、文の流暢さや長さの向上が進んでも、通常、緊張感を的確に捉えることができないためである。
• 教師あり物語コーパスに依存しない手法を開発することで、心理的理論に基づいた完全なゼロショット緊張感のある物語生成を可能にすること。
• 読者の緊張感の認識に影響を与える要因、例えば手がかりの配置、情報のタイミング、登場人物への共感の程度を調査すること。
• 広範な人間評価と制御された干渉実験を通じて、提案手法の有効性を検証すること。

提案手法

• 本手法は、読者が負の結果を回避できる方法の数や質が減少するときに緊張感を感じるという、心理的理論に基づいている。
• 反復的プロンプトを用いて、登場人物が目標に向かってとる可能性のある行動を生成し、その後、各計画が失敗に終わるような物語的状況を敵対的に構築する。
• このプロセスを複数回繰り返すことで、物語の骨子を段階的に緊張感のあるものに作り上げ、その後、完全な物語文に展開する。
• 微調整や教師あり学習データを一切必要としない、完全なゼロショット動作を実現している。
• 手がかりの配置や失敗の発表タイミングといった、理論に基づいた設計選択を組み込み、読者の緊張感の認識に影響を与える。
• 制御されたアンケートを用いた人間評価を通じて、緊張感、共感、好みの違いを異なる物語バージョンで評価している。

実験結果

リサーチクエスチョン

• RQ1 心理的理論に基づいたゼロショットプロンプト技法は、教師ありデータなしに、LLM を用いて効果的に緊張感のある物語を生成できるか？
• RQ2 手がかりの配置と、失敗情報の発表タイミングは、読者の緊張感の認識にどのように影響するか？
• RQ3 読者の登場人物への共感度が、感じられる緊張感のレベルにどの程度影響を及えるか？
• RQ4 提案された反復的プロンプト手法は、ベースラインのプロンプト手法と比較して、緊張感のある物語生成においてどのように異なるか？

主な発見

• 57.9％の参加者が、失敗が目前に迫っていることを示す手がかりがある物語でより高い緊張感を感じたのに対し、10.9％の参加者が手がかりのない物語を好んだ。有意差は p < 0.05 で確認された。
• 42.1％の参加者が、失敗の条件を事前に明らかにされた物語でより高い緊張感を感じたが、36.3％の参加者が事後に明らかにされた物語を好んだ。この差は統計的に有意ではなかった。
• 読者の共感度と感じられる緊張感の間には強い正の相関が観察された。高水準の共感度は通常、高水準の緊張感と関連していたが、一部の参加者は共感度が高くても緊張感は低かったと報告した。
• 提案手法は人間評価において、ベースラインのプロンプト手法を著しく上回り、緊張感のある物語生成の有効性を実証した。
• 本研究は、失敗状況の手がかりによるセットアップが、緊張感の認識を高める重要な要因であることを確認した。これは、本手法の理論的基盤を裏付けるものである。
• 本手法は、認知心理学に基づいた完全なゼロショット緊張感のある物語生成を可能にし、効果的かつ理論的根拠を備えたものであり、LLM を用いた物語生成分野における画期的な貢献である。