[论文解读] Consistency and Coherency Enhanced Story Generation

Wei Wang, Piji Li+1 more|arXiv (Cornell University)|Oct 17, 2020

Topic Modeling参考文献 29被引用 4

一句话总结

本文提出了一种两阶段故事生成框架，通过先构建结构化的故事大纲，再将其扩展为完整叙事，从而提升故事的一致性和连贯性。通过引入指代消解监督和话语关系分类头，模型显著减少了指代错误，并提升了句子层面的连贯性，在自动指标和人工评估中均优于基于GPT2的基线模型。

ABSTRACT

Story generation is a challenging task, which demands to maintain consistency of the plots and characters throughout the story. Previous works have shown that GPT2, a large-scale language model, has achieved good performance on story generation. However, we observe that several serious issues still exist in the stories generated by GPT2 which can be categorized into two folds: consistency and coherency. In terms of consistency, on one hand, GPT2 cannot guarantee the consistency of the plots explicitly. On the other hand, the generated stories usually contain coreference errors. In terms of coherency, GPT2 does not take account of the discourse relations between sentences of stories directly. To enhance the consistency and coherency of the generated stories, we propose a two-stage generation framework, where the first stage is to organize the story outline which depicts the story plots and events, and the second stage is to expand the outline into a complete story. Therefore the plots consistency can be controlled and guaranteed explicitly. In addition, coreference supervision signals are incorporated to reduce coreference errors and improve the coreference consistency. Moreover, we design an auxiliary task of discourse relation modeling to improve the coherency of the generated stories. Experimental results on a story dataset show that our model outperforms the baseline approaches in terms of both automatic metrics and human evaluation.

研究动机与目标

• 为解决GPT2生成故事中持续存在的问题，包括情节不一致和指代错误。
• 通过显式建模句子间的话语关系，提升话语连贯性。
• 开发一种两阶段框架，通过结构化的故事大纲确保情节一致性。
• 通过指代消解和话语结构的辅助监督，提升叙事质量。
• 在自动指标和人工评估上对模型进行评估，证明其优于基于GPT2的基线模型。

提出的方法

• 模型采用两阶段方法：首先生成捕捉情节事件和角色状态的结构化故事大纲，然后将其扩展为完整叙事。
• 在训练过程中应用指代消解监督，以减少代词和名词指代的歧义，提升指代一致性。
• 引入话语关系分类头作为辅助任务，用于预测句子对之间的话语关系（如对比、因果、条件等）。
• 损失函数结合了语言建模损失与加权的话语关系预测损失，其中λ₁ = 0.1被确定为最优。
• 模型在两个阶段均利用预训练的基于Transformer的自回归语言模型（TLM），并通过结构化监督进行微调。
• 解码过程中使用top-k采样，但结构化生成过程降低了随机词元生成对连贯性的影响。

实验结果

研究问题

• RQ1 与端到端自回归模型相比，两阶段生成框架是否能提升故事生成中的情节一致性？
• RQ2 指代消解监督在减少生成故事中的指代错误方面有何影响？
• RQ3 话语关系建模在多大程度上提升了长篇叙事中的句子层面连贯性？
• RQ4 在故事生成中，语言建模与辅助话语关系预测之间的最优权衡是什么？
• RQ5 整合结构化故事大纲是否能生成比直接自回归生成更连贯、更一致的叙事？

主要发现

• 所提模型在自动指标和人工评估中均优于GPT2和GPT2P，展现出更高的故事质量。
• 该模型在正确预测话语关系的比例上最高，未知关系的比例最低，表明其话语连贯性更优。
• 指代消解监督显著减少了指代错误，生成故事中模糊或错误的代词指代更少。
• 两阶段框架通过减少角色状态和事件序列中的矛盾，确保了更好的情节一致性。
• 发现话语损失的最优权重λ₁ = 0.1，可在不降低性能的前提下，平衡辅助任务与主要语言建模目标。
• 案例研究显示，与GPT2P相比，该模型生成的故事在连贯性、一致性及逻辑结构方面更优，尤其在保持角色和情节连续性方面表现突出。