[论文解读] CO2Sum:Contrastive Learning for Factual-Consistent Abstractive Summarization

Wei Liu, Huanqin Wu+4 more|arXiv (Cornell University)|Dec 2, 2021

Topic Modeling参考文献 29被引用 9

一句话总结

CO2Sum 提出了一种用于抽取式摘要的对比学习框架，通过在编码和解码阶段均应用对比学习，在不增加额外参数的情况下提升了事实一致性。它引入了一种基于语言模型的事实负样本构建方法，在公开基准测试中，在事实一致性指标上达到了最先进性能，优于 FASUM 和 CCGS 等强基线模型。

ABSTRACT

Generating factual-consistent summaries is a challenging task for abstractive summarization. Previous works mainly encode factual information or perform post-correct/rank after decoding. In this paper, we provide a factual-consistent solution from the perspective of contrastive learning, which is a natural extension of previous works. We propose CO2Sum (Contrastive for Consistency), a contrastive learning scheme that can be easily applied on sequence-to-sequence models for factual-consistent abstractive summarization, proving that the model can be fact-aware without modifying the architecture. CO2Sum applies contrastive learning on the encoder, which can help the model be aware of the factual information contained in the input article, or performs contrastive learning on the decoder, which makes the model to generate factual-correct output summary. What's more, these two schemes are orthogonal and can be combined to further improve faithfulness. Comprehensive experiments on public benchmarks demonstrate that CO2Sum improves the faithfulness on large pre-trained language models and reaches competitive results compared to other strong factual-consistent summarization baselines.

研究动机与目标

• 为解决大语言模型生成流畅但事实错误的摘要问题，即抽取式摘要中的事实不一致问题。
• 开发一种方法，使序列到序列模型在编码和解码阶段均具备事实感知能力，且无需修改模型架构。
• 构建高质量的负样本，其中包含事实不一致内容，以实现有效的对比学习。
• 证明对比学习可以作为现有事实一致性方法的自然且有效的扩展。

提出的方法

• CO2Sum 在编码器上应用对比学习，帮助模型关注输入文章中的事实内容。
• 它在解码器上应用对比学习，以区分真实摘要与事实不一致的负样本。
• 它引入了 LFN（基于语言模型的事实负样本构建），通过识别易错事实片段并对其扰动生成负摘要。
• 负样本通过使用预训练语言模型替换真实摘要中的关键实体或事实来构建。
• 该方法将对比学习整合到标准的教师强制训练流程中，同时保持模型推理效率。
• 编码和解码阶段的对比学习方案相互独立，可结合使用以提升事实忠实度。

实验结果

研究问题

• RQ1 是否可以在不修改模型架构的前提下，有效应用对比学习来提升抽取式摘要的事实一致性？
• RQ2 如何自动构建包含事实不一致内容的高质量负样本，以支持对比训练？
• RQ3 同时在编码和解码阶段应用对比学习，是否能比单阶段方法带来更好的事实一致性？
• RQ4 与使用知识图谱或后编辑模块的强基线模型相比，CO2Sum 在事实一致性和性能方面表现如何？

主要发现

• CO2Sum 显著提升了大规模预训练语言模型的事实一致性，在所有四项事实一致性指标上均优于强基线 FASUM。
• 尽管未引入任何额外参数，CO2Sum 在与使用额外 BART 模型进行排序的后编辑基线 CCGS 比较中，仍取得了具有竞争力的结果。
• 编码与解码阶段对比学习的结合优于单独使用任一组件，证实了二者具有正交性和互补性。
• 案例研究显示，CO2Sum 降低了错误实体（如将 'Republican presidential nomination' 误生成为 'animal lover'）的生成概率，同时提高了正确实体的生成可能性。
• LFN 方法成功识别出易错事实片段，并生成了合理的负样本，有效训练模型避免事实幻觉。
• CO2Sum 与标准训练流程兼容，可应用于任意序列到序列模型，无需架构修改。