[论文解读] Content Planning for Neural Story Generation with Aristotelian Rescoring

Seraphina Goldfarb-Tarrant, Tuhin Chakrabarty+2 more|arXiv (Cornell University)|Sep 21, 2020

Topic Modeling参考文献 24被引用 6

一句话总结

本文提出了一种神经故事生成的内容规划框架，将《诗学》中的亚里士多德原则整合到基于集成重评分模型的剧情生成流程中。通过运用剧情连贯性、高潮和角色相关性等标准对原始剧情进行优化，该方法生成的故事在相关性和整体质量上显著优于无原则规划的基线方法。

ABSTRACT

Long-form narrative text generated from large language models manages a fluent impersonation of human writing, but only at the local sentence level, and lacks structure or global cohesion. We posit that many of the problems of story generation can be addressed via high-quality content planning, and present a system that focuses on how to learn good plot structures to guide story generation. We utilize a plot-generation language model along with an ensemble of rescoring models that each implement an aspect of good story-writing as detailed in Aristotle's Poetics. We find that stories written with our more principled plot-structure are both more relevant to a given prompt and higher quality than baselines that do not content plan, or that plan in an unprincipled way.

研究动机与目标

• 为解决神经故事生成中全局连贯性和结构质量不足的问题，该问题常导致尽管句子层面输出流畅，但整体叙事仍不连贯或偏离主题。
• 探究是否可通过融入亚里士多德的叙事原则（尤其是事件安排、角色相关性和剧情高潮）来提升故事质量与相关性。
• 开发一种内容规划系统，利用基于多个判别器的剧情生成语言模型，这些判别器在亚里士多德原则基础上进行训练，以在表面实现前优化剧情。
• 评估有原则的剧情规划是否能生成比原始或无结构规划方法更连贯、更相关、质量更高的故事。

提出的方法

• 系统使用序列到序列的剧情生成模型，基于给定提示生成初始的原始剧情，利用语义角色标注（SRL）将事件表示为动词及其论元。
• 对初始剧情应用一组判别性重评分模型，每个模型专门针对亚里士多德《诗学》中定义的良好叙事的一个方面进行训练：剧情结构、高潮、角色相关性和叙事连贯性。
• 每个重评分模型使用微调后的BART架构进行评估，训练数据由人工标注的正负样本剧情对构建而成。
• 重评分过程对候选剧情进行排序并选择最连贯、结构最合理的剧情，随后将其作为输入送入大型语言模型，实现自然语言层面的表面化生成。
• 最终故事通过将预训练语言模型条件化于优化后的剧情生成，确保叙事内容与规划结构保持一致。
• 测量最终故事中剧情词和动词的引入率，以评估剧情对表面文本的影响程度。

实验结果

研究问题

• RQ1 基于亚里士多德《诗学》的有原则内容规划能否提升神经故事生成的结构质量与相关性？
• RQ2 与原始或无结构的剧情生成相比，基于亚里士多德原则的重评分在故事连贯性和质量方面表现如何？
• RQ3 通过词和动词引入率衡量，优化后的剧情在多大程度上影响了最终故事的生成？
• RQ4 多个判别性重评分模型（每个针对一个独立的叙事原则）是否能比单一模型更有效地共同提升剧情质量？

主要发现

• 使用亚里士多德重评分剧情生成的故事，与原始剧情或直接提示生成的故事相比，对输入提示的相关性显著提高，整体质量也更优。
• 系统实现了72.4%的词引入率和72.0%的动词引入率，表明优化后的剧情与最终故事之间具有较强的对齐性，但仍低于理论上限。
• 采用集成重评分模型（每个模型针对一个独立的亚里士多德原则）可生成比基线方法更连贯、结构更优、更具叙事吸引力的剧情。
• 优化后的剧情使生成的故事更具连贯性和主题一致性，经由定性分析与人工评估验证，最佳参考故事展现出更流畅的叙事流和更强的情感共鸣。
• 结果表明，通过有原则的叙事约束进行内容规划，可有效引导大型语言模型生成更高质量、更具结构化的叙事。