[论文解读] Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency

Xiao Wen, Giuseppe Carenini|arXiv (Cornell University)|Sep 7, 2022

Topic Modeling被引用 5

一句话总结

本文提出一种基于实体的SpanCopy机制，通过使模型能够直接从源文档复制值得总结的实体，以提升生成式文本摘要中的事实一致性。该方法可无缝集成到预训练序列到序列模型中，在实体层面的事实一致性上相比PEGASUS平均提升+2.28分，对关键性指标的影响极小。

ABSTRACT

Despite the success of recent abstractive summarizers on automatic evaluation metrics, the generated summaries still present factual inconsistencies with the source document. In this paper, we focus on entity-level factual inconsistency, i.e. reducing the mismatched entities between the generated summaries and the source documents. We therefore propose a novel entity-based SpanCopy mechanism, and explore its extension with a Global Relevance component. Experiment results on four summarization datasets show that SpanCopy can effectively improve the entity-level factual consistency with essentially no change in the word-level and entity-level saliency. The code is available at https://github.com/Wendy-Xiao/Entity-based-SpanCopy

研究动机与目标

• 解决生成式摘要中的实体层面事实不一致问题，即模型生成源文档中不存在的实体。
• 在不降低词级别或实体级别关键性的情况下提升事实一致性。
• 开发一种轻量级、模块化的解决方案，可轻松集成到现有预训练生成模型中。
• 探索在生成前识别值得总结的实体的全局相关性（Global Relevance）组件的有效性。

提出的方法

• 引入SpanCopy机制，使模型在摘要生成过程中可直接复制源文档中的词段（尤其是命名实体）。
• 将SpanCopy作为可微分、注意力增强的生成模块，集成到基于Transformer的序列到序列模型中。
• 设计一个全局相关性（GR）组件，计算源文档实体的先验分布，以识别最应包含在摘要中的实体。
• 利用注意力机制将生成的标记与源文档中的词段对齐，实现对与源内容匹配的实体的选择性复制。
• 采用标准训练目标进行端到端训练，仅当生成标记与源词段之间存在高精度匹配时，才激活SpanCopy机制。
• 应用GR组件重新加权实体相关性分数，引导模型优先选择既显著又事实准确的实体。

实验结果

研究问题

• RQ1 直接复制词段的机制是否能在不降低关键性的情况下提升生成式摘要中的实体层面事实一致性？
• RQ2 与PEGASUS等强基线模型相比，SpanCopy机制在减少幻觉实体方面的有效性如何？
• RQ3 添加全局相关性组件是否能进一步提升事实一致性，同时保持关键性？
• RQ4 该方法在真实、完整的数据集上与仅包含源文档中所有参考实体的过滤子集上的表现如何？
• RQ5 模型能否在减少实体层面幻觉的同时保持强大的生成质量？

主要发现

• 与PEGASUS相比，SpanCopy在四个数据集上平均提升2.28个ROUGE-L F1分数，显著提高实体层面的事实一致性，且关键性无显著下降。
• 在所有参考实体均存在于源文档的过滤数据集上，加入GR的SpanCopy在事实一致性和关键性指标上均优于PEGASUS。
• 仅使用SpanCopy机制，在原始测试集上事实一致性平均提升+2.13分，关键性仅下降-0.06个ROUGE-L F1分数。
• 在原始数据集上，全局相关性组件未能提升事实一致性，可能因过度优先考虑非显著实体；但在过滤子集上表现有帮助。
• 定性分析表明，SpanCopy可消除CNNDM数据集中如“'Ivan Watson'”等幻觉实体，同时保持与源文档内容的事实一致性。
• 该方法在高度抽象的数据集（如XSum）上尤为有效，其在原始数据上的事实一致性提升远大于在过滤数据上的提升。