[论文解读] An Entity-Driven Framework for Abstractive Summarization

Eva Sharma, Luyang Huang+2 more|arXiv (Cornell University)|Sep 4, 2019

Topic Modeling参考文献 45被引用 8

一句话总结

本文提出SENECA，一种两阶段神经抽象摘要框架，通过实体感知的内容选择和强化学习生成更连贯、简洁且忠实的摘要。通过利用显著实体和语言学启发的奖励，SENECA在CNN/Daily Mail和纽约时报数据集上实现了最先进的ROUGE分数，并在人类评估中于连贯性和信息量方面优于先前模型。

ABSTRACT

Abstractive summarization systems aim to produce more coherent and concise summaries than their extractive counterparts. Popular neural models have achieved impressive results for single-document summarization, yet their outputs are often incoherent and unfaithful to the input. In this paper, we introduce SENECA, a novel System for ENtity-drivEn Coherent Abstractive summarization framework that leverages entity information to generate informative and coherent abstracts. Our framework takes a two-step approach: (1) an entity-aware content selection module first identifies salient sentences from the input, then (2) an abstract generation module conducts cross-sentence information compression and abstraction to generate the final summary, which is trained with rewards to promote coherence, conciseness, and clarity. The two components are further connected using reinforcement learning. Automatic evaluation shows that our model significantly outperforms previous state-of-the-art on ROUGE and our proposed coherence measures on New York Times and CNN/Daily Mail datasets. Human judges further rate our system summaries as more informative and coherent than those by popular summarization models.

研究动机与目标

• 解决神经抽象摘要模型中存在的连贯性不足和事实不一致问题。
• 通过建模输入文本中显著实体及其话语角色，提升摘要的信息量和连贯性。
• 开发一种两阶段框架，将内容选择与抽象分离，以实现更好的控制和质量。
• 将语言学启发的奖励（聚焦于连贯性、简洁性和清晰度）融入强化学习训练，用于抽象生成。
• 证明基于实体的建模可同时提升摘要的事实忠实度和话语层面的连贯性。

提出的方法

• 该框架使用实体感知的内容选择器，基于实体显著性和上下文相关性识别关键句子。
• 抽象生成器使用带有指针-生成注意力机制的序列到序列模型，执行跨句子的信息压缩与抽象。
• 强化学习通过结合ROUGE分数与连贯性、简洁性和清晰度奖励的奖励函数，训练抽象生成器。
• 通过策略梯度实现端到端训练，联合优化内容选择器与抽象生成器。
• 通过建模实体转移和代词共指模式，指导句子排序与代词使用，提升主题连贯性。
• 设计语言学启发的奖励，以促进自然语言模式，如代词使用和实体链维护。

实验结果

研究问题

• RQ1 实体感知的内容选择能否提升抽象摘要的信息量和连贯性？
• RQ2 整合基于实体的话语建模对摘要连贯性和事实忠实度有何影响？
• RQ3 使用语言学动机奖励的强化学习能否在ROUGE优化之外进一步提升摘要质量？
• RQ4 两阶段框架是否在生成连贯且简洁的摘要方面优于端到端抽象模型？
• RQ5 人类评估者在多大程度上认为基于实体的抽象摘要比最先进模型生成的摘要更具连贯性和信息量？

主要发现

• SENECA在CNN/Daily Mail和纽约时报数据集上均取得了新的SOTA ROUGE分数，显著优于先前方法。
• 人类评估显示，SENECA生成的摘要在连贯性和信息量方面优于DeepReinforce和PointGen等主流模型。
• 加入连贯性奖励的模型（SENECA + R_coh）生成的摘要在结构和内容上最接近人类参考摘要。
• 自动评估显示连贯性指标显著提升，表明话语层面组织更优。
• 使用实体转移和共指建模可提升代词使用的自然性，并减少摘要中的冗余。
• 采用多目标奖励（ROUGE、连贯性、简洁性、清晰度）的强化学习，生成的摘要更具流畅性和语境一致性。