[论文解读] Creating Suspenseful Stories: Iterative Planning with Large Language Models

Kaige Xie, Mark Riedl|arXiv (Cornell University)|Feb 27, 2024

AI-based Problem Solving and Planning被引用 4

一句话总结

本文提出了一种基于理论、采用迭代提示的生成方法，利用大语言模型（LLMs）在无监督数据的情况下生成充满悬念的故事。通过迭代规划主角行动并加以对抗性破坏，该方法显著提升了故事的悬念感，在人类评分中显著优于基线模型，是首个实现零样本LLM悬念故事生成的方法。

ABSTRACT

Automated story generation has been one of the long-standing challenges in NLP. Among all dimensions of stories, suspense is very common in human-written stories but relatively under-explored in AI-generated stories. While recent advances in large language models (LLMs) have greatly promoted language generation in general, state-of-the-art LLMs are still unreliable when it comes to suspenseful story generation. We propose a novel iterative-prompting-based planning method that is grounded in two theoretical foundations of story suspense from cognitive psychology and narratology. This theory-grounded method works in a fully zero-shot manner and does not rely on any supervised story corpora. To the best of our knowledge, this paper is the first attempt at suspenseful story generation with LLMs. Extensive human evaluations of the generated suspenseful stories demonstrate the effectiveness of our method.

研究动机与目标

• 为解决大语言模型（LLMs）在生成悬念故事方面长期被忽视的挑战，尽管其在流畅性和长度方面已有显著进展，但通常难以捕捉悬念感。
• 开发一种不依赖于监督故事语料的方法，实现完全零样本的、基于心理学理论的悬念故事生成。
• 探究影响读者悬念感知的因素，包括线索设置、信息呈现时机以及对主角的共情程度。
• 通过广泛的用户评估和受控干预研究，验证所提方法的有效性。

提出的方法

• 该方法基于一种悬念的心理学理论：当避免负面结果的途径数量或质量减少时，读者会产生悬念感。
• 采用迭代提示生成主角为达成目标而可能采取的行动，随后构建故事情境以使每个计划均告失败，实现对抗性破坏。
• 该过程重复多次，以构建悬念感强烈的故事大纲，随后扩展为完整叙事文本。
• 该方法完全采用零样本方式，无需微调或监督训练数据。
• 方法中融入了基于理论的设计选择，如线索位置和失败信息揭示时机，以影响悬念感知。
• 通过受控调查进行人类评估，以衡量不同故事变体的悬念水平、共情程度及偏好。

实验结果

研究问题

• RQ1 基于理论的零样本提示方法是否能有效利用LLMs在无任何监督数据的情况下生成悬念故事？
• RQ2 线索设置和失败信息揭示的时机如何影响读者对悬念的感知？
• RQ3 读者对主角的共情程度在多大程度上影响其感知到的悬念水平？
• RQ4 所提出的迭代提示方法与基线提示方法相比，在生成悬念叙事方面表现如何？

主要发现

• 57.9%的参与者表示，当故事中设置了预示失败的线索时，悬念感更强，而仅10.9%的参与者偏好无线索的故事，该结果在p < 0.05水平上具有统计显著性。
• 42.1%的参与者认为，若失败条件在事前揭示，悬念感更强，而36.3%的参与者在失败信息事后揭示时感到更紧张，但该差异未达统计显著性。
• 观察到读者共情与感知悬念之间存在强烈正相关关系，高悬念感通常与高共情相关，但也有部分参与者报告即使共情程度高，悬念感仍较低。
• 在人类评估中，所提方法显著优于基线提示方法，证明其在生成悬念叙事方面的有效性。
• 研究证实，通过线索设置失败情境是提升悬念感知的关键因素，支持了该方法的理论基础。
• 该方法实现了完全零样本的、有效且基于认知心理学的悬念故事生成，为LLM驱动的叙事创作带来了新颖的贡献。