[论文解读] Boosting Factual Correctness of Abstractive Summarization
本文提出 FASum，一种事实感知的抽象摘要模型，通过神经图计算整合从源文本中提取的事实关系，显著提升了事实正确性。此外，本文还引入 FC，一种事实校正器，通过仅修改少数实体标记来增强摘要质量，在自动评估和人工评估中均优于当前最先进模型。
A commonly observed problem with abstractive summarization is the distortion or fabrication of factual information in the article. This inconsistency between summary and original text has led to various concerns over its applicability. In this paper, we firstly propose a Fact-Aware Summarization model, FASum, which extracts factual relations from the article and integrates this knowledge into the decoding process via neural graph computation. Then, we propose a Factual Corrector model, FC, that can modify abstractive summaries generated by any model to improve factual correctness. Empirical results show that FASum generates summaries with significantly higher factual correctness compared with state-of-the-art abstractive summarization systems, both under an independently trained factual correctness evaluator and human evaluation. And FC improves the factual correctness of summaries generated by various models via only modifying several entity tokens.
研究动机与目标
- 为解决抽象摘要中持续存在的事实幻觉问题，即生成的摘要扭曲或虚构源文本中的事实。
- 通过将输入文章中的事实知识整合到解码过程中，提升抽象摘要的事实正确性。
- 开发一种轻量级、事后校正方法，提升事实一致性，而无需重新训练原始模型。
- 通过自动指标和人工标注双重评估事实正确性，确保评估范式的稳健性。
提出的方法
- FASum 使用关系抽取模块从输入文章中提取事实关系（例如，主语-谓语-宾语三元组）。
- 基于这些关系构建事实知识图，并利用图神经网络在解码过程中传播和聚合事实信息。
- 通过门控注意力机制将图编码的事实知识整合到解码器中，引导生成更具事实一致性的摘要。
- FC 是一个独立的轻量级模型，通过仅修改生成摘要中的少数实体标记来识别并纠正事实不一致。
- FC 作为后处理步骤运行，无需重新训练原始摘要模型，且可应用于任何抽象模型生成的摘要。
- 两个模型均在标准抽象摘要基准上进行训练和评估，事实正确性通过自动评估和人工评估双重衡量。
实验结果
研究问题
- RQ1将源文本中的事实关系整合到解码过程中，能否显著提升抽象摘要的事实正确性？
- RQ2一种轻量级、事后校正模型能否在不重新训练原始模型的前提下有效提升事实一致性？
- RQ3在自动评估和人工评估下，FASum 的事实正确性与最先进抽象模型相比如何？
- RQ4通过仅修改少量实体标记，FC 能在多大程度上提升事实正确性？
主要发现
- FASum 在独立训练的事实正确性评估器衡量下，事实正确性显著优于最先进抽象摘要模型。
- 人工评估确认，FASum 生成的摘要在事实一致性方面优于现有方法。
- FC 通过仅修改少量实体标记，即可提升多种模型生成摘要的事实正确性，证明其高效性和泛化能力。
- FC 在不同源模型上均能保持一致的事实正确性增益，表明其作为事后校正工具的稳健性。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。