[论文解读] Enhancing Factual Consistency of Abstractive Summarization

Chenguang Zhu, William Hinthorn+5 more|arXiv (Cornell University)|Mar 19, 2020

Topic Modeling参考文献 35被引用 14

一句话总结

本文提出 FASum，一种事实感知的抽象摘要模型，通过将自提取的知识图谱通过图注意力机制整合到基于 Transformer 的编码器-解码器框架中，以增强事实一致性。此外，本文还引入了 FC，一种事实校正模型，通过序列到序列的微调来纠正实体级别的错误，从而提升现有摘要的事实一致性，且无需重新训练原始模型，取得了显著效果。

ABSTRACT

Automatic abstractive summaries are found to often distort or fabricate facts in the article. This inconsistency between summary and original text has seriously impacted its applicability. We propose a fact-aware summarization model FASum to extract and integrate factual relations into the summary generation process via graph attention. We then design a factual corrector model FC to automatically correct factual errors from summaries generated by existing systems. Empirical results show that the fact-aware summarization can produce abstractive summaries with higher factual consistency compared with existing systems, and the correction model improves the factual consistency of given summaries via modifying only a few keywords.

研究动机与目标

• 为解决抽象摘要中普遍存在的事实幻觉问题，即模型生成包含扭曲或虚构事实的摘要。
• 通过直接从输入文章中提取的事实知识，而非依赖外部知识库，来提升事实一致性。
• 开发一种通用的事实校正模型（FC），可对任意现有抽象摘要模型生成的摘要进行优化，而无需重新训练。
• 证明事实一致性不仅可通过改进生成过程，还可通过针对性地修正现有输出中的错误来提升。

提出的方法

• 使用开放信息抽取（OpenIE）从输入文章中提取事实三元组（主语-关系-宾语），构建事实知识图谱。
• 利用图注意力网络（GAT）对知识图谱中的每个实体进行表示，学习上下文相关的节点表征。
• 通过交叉注意力机制将图编码表示集成到基于 Transformer 的抽象摘要模型的解码器中，以引导事实基础的生成。
• 使用标准序列到序列目标和交叉熵损失，端到端训练 FASum 模型。
• 将事实校正器（FC）设计为基于 UniLM 的序列到序列模型，并在带有损坏实体的合成数据上进行去噪自编码器的微调。
• 通过将真实摘要中的正确实体替换为文章中不正确的实体，生成合成训练数据，以模拟常见的事实错误。

实验结果

研究问题

• RQ1 将自提取的事实知识图谱集成到模型中，能否提升抽象摘要模型的事实一致性？
• RQ2 FASum 模型在保持摘要质量的同时，是否优于现有抽象摘要模型，从而更准确地保持事实？
• RQ3 独立的事实校正模型（FC）能否有效检测并纠正其他模型生成摘要中的事实错误？
• RQ4 FC 模型通过仅修改摘要中的少数关键词，能在多大程度上提升事实一致性？
• RQ5 该事实校正方法是否可在不同抽象摘要模型和多样化文本领域间实现泛化？

主要发现

• FASum 在基于 BERT 的事实一致性评估器下，事实一致性高于现有抽象摘要模型（包括 BottomUp 和 Seq2Seq），且不完全依赖 ROUGE 分数。
• 事实校正器 FC 通过仅纠正少量错误实体，显著提升了现有模型生成摘要的事实一致性，该结果在 CNN/DailyMail 数据集的多个示例中得到验证。
• 在定性分析示例中，FC 通过将摘要中错误的实体替换为文章中的准确实体，成功纠正了实体级别的幻觉，例如错误地将进球归因于错误的球员或错误识别事件的主体。
• 该模型在体育、新闻和法律报道等多种领域均表现出鲁棒性，事实准确性持续提升。
• FASum 与 FC 的结合使得摘要在事实准确性上更优，同时保持语义连贯性，表明事实一致性可通过生成和校正两个阶段共同增强。
• 实证结果证实，标准的 ROUGE 指标无法完全捕捉事实一致性，从而验证了专用评估与校正机制的必要性。