[论文解读] Inferring the Reader: Guiding Automated Story Generation with Commonsense Reasoning

Xiangyu Peng, Siyan Li+2 more|arXiv (Cornell University)|May 4, 2021

Topic Modeling参考文献 19被引用 4

一句话总结

本文提出了一种常识推理增强的神经故事生成框架——常识推理增强神经故事生成（CAST），通过将常识推理整合到神经故事生成中，提升了故事的连贯性。CAST利用COMET2020从生成的句子中推断角色目标、情绪和意图，仅保留与推断出的读者心理模型一致的后续内容——在单角色和双角色场景下，相比强基线模型，生成的故事在连贯性、主题相关性、流畅性和可读性方面均有显著提升。

ABSTRACT

Transformer-based language model approaches to automated story generation currently provide state-of-the-art results. However, they still suffer from plot incoherence when generating narratives over time, and critically lack basic commonsense reasoning. Furthermore, existing methods generally focus only on single-character stories, or fail to track characters at all. To improve the coherence of generated narratives and to expand the scope of character-centric narrative generation, we introduce Commonsense-inference Augmented neural StoryTelling (CAST), a framework for introducing commonsense reasoning into the generation process with the option to model the interaction between multiple characters. We find that our CAST method produces significantly more coherent, on-topic, enjoyable and fluent stories than existing models in both the single-character and two-character settings in three storytelling domains.

研究动机与目标

• 解决神经故事生成模型中常识推理和情节连贯性不足的问题。
• 通过建模目标层级和角色意图，在多个角色间实现连贯的、以角色为中心的故事生成。
• 通过模拟读者心理模型，弥合神经语言模型生成与人类读者理解之间的差距。
• 通过强制实现逻辑性、目标驱动的故事推进，提升叙述的流畅性和可读性。
• 开发一个可扩展的框架，通过最小的架构修改，支持单角色和多角色故事生成。

提出的方法

• 系统从一个提示词和指定的主要角色开始，使用预训练语言模型生成候选故事后续内容。
• 对每个候选内容，COMET2020推断四个常识维度：角色目标、情绪、意图和潜在结果。
• 仅当候选内容的推断属性与前一句内容在足够一致性下匹配（使用基于阈值的匹配机制）时，才接受该候选。
• 被接受的后续内容成为新的提示词，该过程重复进行，直至生成所需长度的故事。
• 通过交错生成和动态角色切换，该框架支持单角色和双角色叙事。
• 该方法基于马尔可夫假设，仅将当前事件与前一个事件进行比较，但能有效维持全局连贯性。

实验结果

研究问题

• RQ1 常识推理能否在基于似然的生成之外，进一步提升神经故事生成的连贯性和流畅性？
• RQ2 在多角色叙事中，建模角色目标和意图如何影响故事质量？
• RQ3 基于读者心理模型推断的筛选机制能否在故事生成中超越基线方法？
• RQ4 该系统在长序列中在主题相关性和叙述一致性方面能维持到何种程度？
• RQ5 将COMET2020的推理结果整合到生成过程中，如何提升故事的可读性和逻辑推进？

主要发现

• 在三个故事生成领域中，CAST在故事连贯性、流畅性和主题相关性方面显著优于强基线模型（如C2PO和Goldfarb-Tarrant等人，2020年）。
• 通过基于常识推理的推断，使生成内容与推断出的读者心理模型保持一致，系统生成了更具可读性和逻辑一致性的故事。
• 在单角色和双角色故事生成中，CAST在人类评估指标（包括连贯性、主题相关性和流畅性）上均取得更高得分。
• 尽管采用局部的、马尔可夫式的比较策略，该框架在维持全局叙述连贯性方面表现出色。
• 由于仅使用COMET2020进行筛选而非生成，CAST生成的故事多样性高于C2PO。
• CAST的性能与COMET2020的常识推理质量直接相关，表明未来推理模型的改进将带来进一步性能提升。