[论文解读] Hierarchical Neural Story Generation

Angela Fan, Mike Lewis+1 more|arXiv (Cornell University)|May 13, 2018

Topic Modeling参考文献 3被引用 152

一句话总结

本文提出一种分层故事生成方法，使用两阶段过程（前提再故事）结合融合机制和门控多尺度自注意力以提高连贯性和与提示的相关性，在大型 WritingPrompts 数据集上进行评估。

ABSTRACT

We explore story generation: creative systems that can build coherent and fluent passages of text about a topic. We collect a large dataset of 300K human-written stories paired with writing prompts from an online forum. Our dataset enables hierarchical story generation, where the model first generates a premise, and then transforms it into a passage of text. We gain further improvements with a novel form of model fusion that improves the relevance of the story to the prompt, and adding a new gated multi-scale self-attention mechanism to model long-range context. Experiments show large improvements over strong baselines on both automated and human evaluations. Human judges prefer stories generated by our approach to those from a strong non-hierarchical model by a factor of two to one.

研究动机与目标

• 通过分层结构强制实现高层次规划，以激励并解决开放式故事生成。
• 创建一个大规模的提示-故事数据集以研究叙事中的长程连贯性。
• 开发模型创新（与预训练模型的融合、门控多尺度自注意力）以保持与提示的相关性。
• 在连贯性和提示遵循方面的改进使用自动评估指标和人工评估进行评估。

提出的方法

• 构建一个两阶段生成：第一阶段用卷积语言模型生成故事提示（前提），然后在此提示条件下使用一个 Conv seq2seq 模型来生成故事。
• 采用卷积编码器-解码器架构以实现对长文本的并行处理。
• 引入门控多尺度自注意力以在不同时间尺度上对无限制上下文建模并通过门控选择过去信息。
• 应用融合机制（类似 cold fusion）将一个预训练的 seq2seq 与第二个 seq2seq 模型结合，以改善对提示的条件化。
• 使用 top-k 采样进行生成并以提示语言模型进行提示创建，评估困惑度和提示相关性，以及人工判断。

实验结果

研究问题

• RQ1 分层生成（前提先于故事）是否能在长篇叙事生成中提高连贯性和对提示的主题遵循？
• RQ2 与预训练模型的融合以及门控多尺度自注意力是否相比非分层基线提高提示相关性和长程连贯性？
• RQ3 在人工评估与自动指标的对比下，开放式提示-故事设置表现如何？
• RQ4 提出的注意力机制在建模故事的长程依赖方面有哪些影响？

主要发现

• 分层生成显著提升了人类对故事相对于非分层基线的偏好（67.32% 对 32.68%）。
• 门控多尺度自注意力和新的注意力机制显著降低了 WritingPrompts 数据集上的困惑度（例如，在测试困惑度中从 45.27 降至 37.94，使用门控）。
• 模型融合（在预训练模型之上再训练一个第二个 seq2seq 模型）显著提高了生成故事与提示保持连贯性的可能性，优于参数更少的集成方法。
• 融合使学习提示与故事之间的依赖关系成为标准 seq2seq 模型难以捕捉的，从人工评估中提升了提示-故事配对的准确性。
• 融合模型在提示与故事之间的连结质量上可达到最近邻的性能，同时实现超出训练实例的无限生成。