[论文解读] Boosting Factual Correctness of Abstractive Summarization with Knowledge Graph.

Chenguang Zhu, William Hinthorn+5 more|arXiv (Cornell University)|Mar 19, 2020

Topic Modeling被引用 34

一句话总结

该论文提出 FASum，一种事实感知的摘要生成模型，通过整合从输入文本中提取的知识图谱，提升摘要的事实正确性。通过利用神经图计算将事实关系融合到生成过程中，FASum 在 CNN/DailyMail 数据集上的事实正确性比 UniLM 高 1.2%，比 BottomUp 高 4.5%，显著优于当前最先进模型。

ABSTRACT

A commonly observed problem with abstractive summarization is the distortion or fabrication of factual information in the article. This inconsistency between summary and original text has led to various concerns over its applicability. In this paper, we propose to boost factual correctness of summaries via the fusion of knowledge, i.e. extracted factual relations from the article. We present a Fact-Aware Summarization model, FASum. In this model, the knowledge information can be organically integrated into the summary generation process via neural graph computation and effectively improves the factual correctness. Empirical results show that FASum generates summaries with significantly higher factual correctness compared with state-of-the-art abstractive summarization systems, both under an independently trained factual correctness evaluator and human evaluation. For example, in CNN/DailyMail dataset, FASum obtains 1.2% higher fact correctness scores than UniLM and 4.5% higher than BottomUp.

研究动机与目标

• 为解决抽取式摘要中持续存在的事实幻觉问题。
• 在不完全依赖序列建模的前提下，提升生成摘要的事实正确性。
• 以结构化、可学习的方式将从输入文本中提取的事实知识整合到摘要生成过程中。
• 开发一种基于神经图的机制，在摘要生成过程中增强事实一致性。
• 通过自动评估与人工评估，证明其在事实正确性方面优于当前最先进抽取式摘要模型。

提出的方法

• 该模型使用关系抽取技术从输入文章中提取事实关系，构建知识图谱。
• 将事实关系编码为图结构中的节点和边，表示实体及其关系。
• 应用神经图计算在图中传播并聚合信息，丰富上下文表征。
• 将图增强的表征融合到序列到序列模型的解码器中，以指导基于事实的摘要生成。
• 采用重建与生成目标相结合的方式端到端训练模型，以保持事实一致性。
• 使用知识图注意力机制，在解码过程中动态关注相关事实。

实验结果

研究问题

• RQ1 将输入文本中提取的结构化事实知识整合到摘要生成中，能否提升事实正确性？
• RQ2 与标准序列建模相比，基于图的知识整合在减少事实幻觉方面表现如何？
• RQ3 在自动评估与人工评估下，该方法在事实正确性方面相比最先进模型的提升程度如何？
• RQ4 神经图计算是否增强了模型在摘要生成过程中保持事实一致性的能力？
• RQ5 通过知识图谱融合能否在基准数据集上带来事实正确性指标的可测量提升？

主要发现

• 在独立的事实正确性评估器下，FASum 在 CNN/DailyMail 数据集上的事实正确性得分比 UniLM 高 1.2%。
• 在相同基准上，FASum 的事实正确性比 BottomUp 高 4.5%，表现出显著提升。
• 人工评估确认，FASum 生成的摘要在事实一致性方面优于当前最先进模型。
• 通过神经图计算整合知识图谱，可实现更准确、更可靠的摘要生成。
• 该模型的性能提升在自动评估与人工评估中均保持一致，验证了其有效性。
• 从输入中提取的事实关系在解码过程中得到有效利用，从而减少幻觉并提升事实保真度。