[论文解读] A Skeleton-Based Model for Promoting Coherence Among Sentences in Narrative Story Generation

Jingjing Xu, Xuancheng Ren+4 more|arXiv (Cornell University)|Aug 21, 2018

Topic Modeling参考文献 22被引用 4

一句话总结

本文提出了一种基于骨架的生成式叙事故事生成模型，通过先生成关键语义短语（骨架），再将其扩展为完整句子，从而提升连贯性。利用强化学习自动学习骨架，无需人工标注，该模型在人类评估中相较最先进模型实现了20.1%的G-score提升。

ABSTRACT

Narrative story generation is a challenging problem because it demands the generated sentences with tight semantic connections, which has not been well studied by most existing generative models. To address this problem, we propose a skeleton-based model to promote the coherence of generated stories. Different from traditional models that generate a complete sentence at a stroke, the proposed model first generates the most critical phrases, called skeleton, and then expands the skeleton to a complete and fluent sentence. The skeleton is not manually defined, but learned by a reinforcement learning method. Compared to the state-of-the-art models, our skeleton-based model can generate significantly more coherent text according to human evaluation and automatic evaluation. The G-score is improved by 20.1% in the human evaluation. The code is available at https://github.com/lancopku/Skeleton-Based-Generation-Model

研究动机与目标

• 为解决叙事故事生成中生成句子缺乏紧密语义关联的连贯性低下的问题。
• 通过聚焦关键语义短语而非一步生成完整句子，更有效地建模句间依赖关系。
• 自动学习句子骨架，无需依赖人工标注或基于规则的提取方法。
• 通过两阶段生成流程（骨架生成后接句子扩展）提升故事的流畅性与连贯性。
• 通过自动指标与人类评估相结合的方式评估模型的有效性，尤其关注连贯性与语义相关性。

提出的方法

• 该模型采用两部分架构：基于骨架的生成模块与骨架提取模块。
• 输入到骨架组件使用带有注意力机制的序列到序列模型，将输入描述映射为语义骨架。
• 骨架到句子组件使用另一个序列到序列模型，将生成的骨架扩展为流畅完整的句子。
• 强化学习框架将骨架提取模块与生成模块连接，实现端到端优化骨架质量。
• 骨架提取模块使用可微分策略网络，从完整句子中选择关键短语（如谓词、主语、宾语），将词选择视为离散决策。
• 强化学习的奖励信号源自人类评估得分（G-score），激励模型生成能导致更连贯故事的骨架。

实验结果

研究问题

• RQ1 相较于端到端的序列到序列模型，两阶段生成方法（先生成骨架再扩展）是否能显著提升叙事故事的连贯性？
• RQ2 强化学习在无需人工标注监督的情况下，自动学习句子骨架的效率如何？
• RQ3 基于骨架的生成在多大程度上减少了语义稀疏性，并改善了句间依赖建模？
• RQ4 与现有模型相比，该模型在不同输入长度和未见短语比例下的表现如何？
• RQ5 在生成的故事中，最常见的连贯性失败类型（如无关场景、混乱的时间线）是什么？该模型如何缓解这些问题？

主要发现

• 与最先进模型相比，所提出的基于骨架的模型在人类评估中G-score提升了20.1%，显著增强了连贯性。
• 该模型在人类评估中的连贯性得分为5.62，远高于基线Seq2Seq模型的4.98分。
• 骨架提取模块成功识别出关键短语，在保持核心语义内容的同时去除了冗余修饰语，如定性分析所示。
• 该模型在不同输入长度和未见短语比例下保持相对稳定的性能，连贯性下降幅度小于基线模型。
• 错误分析显示，不相关场景（62.8%）是导致连贯性低下的主要原因，其次是混乱的句法（25.8%）和时间线不一致（5.7%）。
• 消融实验确认，骨架提取模块与强化学习均不可或缺，完整模型在性能上优于缺少任一组件的变体。