[论文解读] Mind The Facts: Knowledge-Boosted Coherent Abstractive Text Summarization

Beliz Gunel, Chenguang Zhu+2 more|arXiv (Cornell University)|Jun 27, 2020

Topic Modeling参考文献 16被引用 27

一句话总结

本文提出了一种知识增强、连贯性增强的生成式文本摘要模型，将维基数据实体知识整合到基于Transformer-XL的编码器-解码器架构中。通过注入结构化世界知识并利用带循环的相对位置编码，该模型提升了事实一致性和长上下文连贯性，在ROUGE分数上表现更优，且生成的摘要在事实准确性与连贯性方面优于标准Transformer模型。

ABSTRACT

Neural models have become successful at producing abstractive summaries that are human-readable and fluent. However, these models have two critical shortcomings: they often don't respect the facts that are either included in the source article or are known to humans as commonsense knowledge, and they don't produce coherent summaries when the source article is long. In this work, we propose a novel architecture that extends Transformer encoder-decoder architecture in order to improve on these shortcomings. First, we incorporate entity-level knowledge from the Wikidata knowledge graph into the encoder-decoder architecture. Injecting structural world knowledge from Wikidata helps our abstractive summarization model to be more fact-aware. Second, we utilize the ideas used in Transformer-XL language model in our proposed encoder-decoder architecture. This helps our model with producing coherent summaries even when the source article is long. We test our model on CNN/Daily Mail summarization dataset and show improvements on ROUGE scores over the baseline Transformer model. We also include model predictions for which our model accurately conveys the facts, while the baseline Transformer model doesn't.

研究动机与目标

• 为解决神经生成式摘要模型中事实一致性不足的问题，此类模型常生成幻觉或事实错误的内容。
• 通过克服标准Transformer模型的固定序列限制，提升长文本摘要的连贯性。
• 将来自维基数据的外部世界知识整合到注意力机制中，以增强摘要生成过程中的事实感知能力。
• 在ROUGE指标之外，评估模型在事实正确性和连贯性方面的表现，因为这些指标可能无法反映人类判断。
• 探索将实体链接作为端到端组件集成，而非作为预处理流水线。

提出的方法

• 在Transformer编码器-解码器架构中引入循环机制和受Transformer-XL启发的相对位置编码，以建模长距离依赖关系。
• 提出一种改进的注意力机制，通过将维基数据中的实体嵌入投影到查询、键和值矩阵中，实现基于实体的知识注入。
• 使用停止梯度操作保留前一子段的隐藏状态，从而实现在长输入序列中保持上下文连续性。
• 采用带有可学习参数（u, v, Wk,R）的相对位置编码，使注意力机制能够关注相对位置，同时避免绝对位置偏差。
• 通过混合注意力公式将维基数据实体嵌入注入模型的注意力计算中，结合标记嵌入与实体表示。
• 采用标准交叉熵损失进行端到端训练，实现注意力、知识注入与生成过程的联合优化。

实验结果

研究问题

• RQ1 将维基数据中的实体级知识注入是否能提升生成式摘要的事实一致性？
• RQ2 采用Transformer-XL的循环机制与相对位置编码是否能提升长上下文摘要的连贯性？
• RQ3 与标准Transformer相比，所提模型在事实正确性和连贯性方面表现如何，特别是在长输入文章上的表现？
• RQ4 ROUGE分数在多大程度上与人类对生成摘要的事实准确性和连贯性的判断相关？
• RQ5 端到端的实体链接与知识注入是否优于基于流水线的处理方法？

主要发现

• 在相同超参数设置下，所提模型在CNN/Daily Mail数据集上的ROUGE分数高于基线Transformer模型。
• 该模型生成了事实正确的摘要，而基线Transformer模型则出现幻觉，例如错误地声称史蒂夫·麦克拉伦为42岁或曾是曼联主教练。
• 该模型正确识别出保罗·克莱门特曾是皇家马德里教练及前英格兰国家队主帅，而基线模型在这些事实上出现错误。
• 仅使用基于Transformer-XL的架构即可提升连贯性，即使在长输入文章上也能生成符合人类阅读习惯的摘要，而基线模型则产生不连贯的输出。
• 人工事实核查显示，该模型尊重维基数据中的实体事实，如球员伤情和教练履历，而基线模型则未能做到这一点。
• 本研究指出，仅依赖ROUGE分数不足以评估生成式摘要，因为其倾向于提取式策略，且无法有效捕捉事实正确性与连贯性。