[论文解读] Planning with Entity Chains for Abstractive Summarization.

Shashi Narayan, Yao Zhao+3 more|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling参考文献 25被引用 16

一句话总结

本文提出使用实体链——摘要中提及的实体序列——作为内容规划机制，以改进生成式摘要。通过在预训练和微调过程中将目标序列与其对应的实体链相结合，模型提升了事实一致性与简洁性，在SAMSum和XSum数据集上实现了SOTA的ROUGE分数，同时减少了幻觉现象。

ABSTRACT

Pre-trained transformer-based sequence-to-sequence models have become the go-to solution for many text generation tasks, including summarization. However, the results produced by these models tend to contain significant issues such as hallucinations and irrelevant passages. One solution to mitigate these problems is to incorporate better content planning in neural summarization. We propose to use entity chains (i.e., chains of entities mentioned in the summary) to better plan and ground the generation of abstractive summaries. In particular, we augment the target by prepending it with its entity chain. We experimented with both pre-training and finetuning with this content planning objective. When evaluated on CNN/DailyMail, SAMSum and XSum, models trained with this objective improved on entity correctness and summary conciseness, and achieved state-of-the-art performance on ROUGE for SAMSum and XSum.

研究动机与目标

• 为解决预训练变换器生成的生成式摘要中存在的幻觉和无关性问题。
• 提升神经生成式摘要的事实一致性和摘要简洁性。
• 探究实体链是否可作为序列到序列模型的有效内容规划机制。
• 评估在预训练和微调阶段引入实体链增强对摘要任务的影响。

提出的方法

• 在训练过程中，将目标摘要与其对应的实体链进行增强，该实体链从摘要中提取。
• 通过识别并按连贯顺序排列摘要中提及的实体来构建实体链。
• 在预训练和微调阶段均引入实体链监督，以指导生成过程。
• 该方法利用基于预训练变换器的序列到序列模型，并通过修改输入格式以包含实体链。
• 模型学习基于实体链生成摘要，从而提升事实对齐性和连贯性。

实验结果

研究问题

• RQ1 实体链能否提升生成式摘要的事实正确性？
• RQ2 引入实体链对摘要的简洁性与流畅性有何影响？
• RQ3 基于实体链的规划是否能提升标准基准上的ROUGE分数？
• RQ4 实体链监督能否提升在CNN/DailyMail、SAMSum和XSum等多样化摘要数据集上的性能？

主要发现

• 该模型在SAMSum和XSum基准上实现了SOTA的ROUGE分数。
• 与基线模型相比，生成摘要中的实体正确性显著提升。
• 生成的摘要更加简洁，表明注意力更集中且冗余更少。
• 该方法在多个数据集上均表现出一致的性能提升，包括CNN/DailyMail、SAMSum和XSum。