[论文解读] Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward

Luyang Huang, Lingfei Wu+1 more|arXiv (Cornell University)|May 3, 2020

Topic Modeling参考文献 40被引用 17

一句话总结

该论文提出 ASGARD，一种基于知识图谱的摘要生成框架，采用双编码器——顺序编码器与图结构编码器——以提升语义理解并减少幻觉。该方法引入一种基于语义的多项选择完形填空奖励机制，用于强化学习，相较于基线模型，实现了更高的 ROUGE 分数和显著更少的不忠实错误，人工评估也证实其摘要更具信息量且更忠实。

ABSTRACT

Sequence-to-sequence models for abstractive summarization have been studied extensively, yet the generated summaries commonly suffer from fabricated content, and are often found to be near-extractive. We argue that, to address these issues, the summarizer should acquire semantic interpretation over input, e.g., via structured representation, to allow the generation of more informative summaries. In this paper, we present ASGARD, a novel framework for Abstractive Summarization with Graph-Augmentation and semantic-driven RewarD. We propose the use of dual encoders---a sequential document encoder and a graph-structured encoder---to maintain the global context and local characteristics of entities, complementing each other. We further design a reward based on a multiple choice cloze test to drive the model to better capture entity interactions. Results show that our models produce significantly higher ROUGE scores than a variant without knowledge graph as input on both New York Times and CNN/Daily Mail datasets. We also obtain better or comparable performance compared to systems that are fine-tuned from large pretrained language models. Human judges further rate our model outputs as more informative and containing fewer unfaithful errors.

研究动机与目标

• 解决序列到序列模型在抽象式摘要中生成不忠实、近似抽取式摘要的问题。
• 通过知识图谱引入结构化知识表示，提升输入文档的语义理解能力。
• 通过增强实体交互与全局上下文建模，减少生成摘要中的幻觉与冗余。
• 设计一种基于多项选择完形填空问题的新强化学习目标，引导模型实现更好的事实一致性。
• 证明图增强模型在自动评估与人工评估中均优于非图基线模型，并与基于大预训练语言模型（如 BART 和 BERTSum）微调的先进模型表现相当。

提出的方法

• 从开放信息抽取（OpenIE）输出构建知识图谱，以表示文档中实体及其关系。
• 采用双编码器结构：顺序文档编码器用于捕捉局部上下文，图结构编码器用于建模全局实体交互。
• 设计两种知识图谱变体——一种捕捉文档级别的实体交互，另一种整合段落级别的交互与主题转变。
• 在解码阶段融合两种编码器的输出，实现对序列信息与关系信息的联合注意力。
• 通过掩码成对连接的实体（由谓词关联或在人类摘要中共同出现）构造多项选择完形填空奖励，利用该奖励通过强化学习训练模型。
• 结合交叉熵损失与基于完形填空的奖励联合训练模型，以优化事实一致性和信息量。

实验结果

研究问题

• RQ1 与标准序列模型相比，基于知识图谱增强编码是否能提升抽象式摘要的事实一致性和信息量？
• RQ2 基于语义的多项选择完形填空奖励是否能增强模型捕捉全局实体交互的能力，并减少不忠实内容？
• RQ3 与基于大预训练语言模型（如 BART 和 BERTSum）微调的最先进模型相比，图增强模型的性能如何？
• RQ4 自动指标（如 ROUGE）与人工判断的不忠实错误（尤其是幻觉）之间的相关性如何？
• RQ5 通过建模长距离实体依赖，该框架在多大程度上能减少冗余并提升摘要连贯性？

主要发现

• 在 CNN/Daily Mail 和 New York Times 数据集上，ASGARD 模型相较于无知识图谱输入的变体，ROUGE 分数显著更高。
• 与无图输入的基线相比，图增强模型显著减少了不忠实错误，尤其是上下文外错误与删除/替换错误。
• 人工评估显示，ASGARD 生成的摘要更具信息量，且不忠实错误更少，优于非图变体。
• 在自动评估与人工评估指标上，该模型表现与或优于微调后的 BART、UniLM 和 BERTSum 模型。
• 自动评估指标（ROUGE 与完形填空得分）与不忠实错误（尤其是幻觉）的相关性较弱，表明当前指标存在局限性。
• 幻觉错误较多的摘要在 ROUGE 与完形填空指标上得分反而更高，表明当前指标可能无法有效检测事实不一致。