[论文解读] KATSum: Knowledge-aware Abstractive Text Summarization

Guan Wang, Weihua Li+2 more|arXiv (Cornell University)|Dec 6, 2022

Topic Modeling被引用 4

一句话总结

KATSum 提出了一种知识感知的生成式文本摘要模型，通过利用知识图谱三元组（头-关系-尾）来增强事实一致性和连贯性。通过将源文本编码为知识图谱，并在输入到 Transformer 解码器前对相关三元组进行分类，KATSum 有效减少了事实性错误，并在 CNN/Daily Mail 数据集上实现了 SOTA 的 ROUGE 分数，相较于基线模型提升了 20% 以上，使用 XLNet 时表现尤为突出。

ABSTRACT

Text Summarization is recognised as one of the NLP downstream tasks and it has been extensively investigated in recent years. It can assist people with perceiving the information rapidly from the Internet, including news articles, social posts, videos, etc. Most existing research works attempt to develop summarization models to produce a better output. However, advent limitations of most existing models emerge, including unfaithfulness and factual errors. In this paper, we propose a novel model, named as Knowledge-aware Abstractive Text Summarization, which leverages the advantages offered by Knowledge Graph to enhance the standard Seq2Seq model. On top of that, the Knowledge Graph triplets are extracted from the source text and utilised to provide keywords with relational information, producing coherent and factually errorless summaries. We conduct extensive experiments by using real-world data sets. The results reveal that the proposed framework can effectively utilise the information from Knowledge Graph and significantly reduce the factual errors in the summary.

研究动机与目标

• 为解决生成过程中因缺乏约束而导致的不忠实性和事实不一致问题。
• 通过引入关键实体之间的关系知识，提升摘要的连贯性和事实准确性。
• 构建一种利用知识图谱指导摘要生成的框架，超越简单的关键词提取。
• 评估知识图谱构建与三元组分类对摘要质量的影响。
• 证明知识感知建模能够提升 ROUGE 分数并减少生成式摘要中的幻觉现象。

提出的方法

• 使用实体和关系抽取技术从源文本构建知识图谱，形成 {头, 关系, 尾} 形式的三元组。
• 利用图神经网络将知识图谱三元组嵌入低维空间，实现表示学习。
• 应用训练好的分类器对三元组进行过滤，仅保留最相关的三元组用于摘要生成。
• 将筛选后的三元组嵌入信息整合进基于 Transformer 的解码器中，以引导生成式摘要。
• 使用预训练语言模型（BERT 和 XLNet）作为编码器，处理输入文本并生成上下文表示。
• 采用交叉熵损失函数，结合调度解码和束搜索策略进行推理，端到端训练模型。

实验结果

研究问题

• RQ1 知识图谱三元组能否提升生成式摘要的事实一致性？
• RQ2 实体间关系信息的引入如何影响摘要质量与 ROUGE 分数？
• RQ3 对知识图谱三元组进行分类过滤是否能提升摘要性能，相比直接使用原始嵌入？
• RQ4 不同预训练编码器（BERT 与 XLNet）在 KATSum 中与知识图谱组件的交互方式有何差异？
• RQ5 与基线生成式模型相比，知识图谱组件在多大程度上减少了事实性错误？

主要发现

• 使用 XLNet 作为编码器的 KATSum 在 CNN/Daily Mail 数据集上取得了 40.2 的 ROUGE-L 分数，相较于基线（31.5）实现了 27.6% 的相对提升。
• 该模型在 ROUGE 分数上较 BERT 基线提升超过 20%，表明 XLNet 在处理长上下文和整合知识图谱信息方面具有更强的能力。
• 若移除三元组过滤的分类步骤，ROUGE-L 从 28.8 降至 27.4，说明过滤噪声或无关三元组能有效提升性能。
• 若完全移除知识图谱组件，性能显著下降，ROUGE-L 从 28.8 降至 25.2，证明该组件在模型中的核心作用。
• 在 XSum 数据集上，使用 XLNet 的 KATSum 取得了 38.4 的 ROUGE-L 分数，领先基线 10.0 分，验证了其在不同数据集上的泛化能力。
• 消融实验确认，知识图谱的构建过程及其分类步骤对减少事实性错误和提升摘要质量均至关重要。