[论文解读] Counterfactual Data Augmentation improves Factuality of Abstractive Summarization

Dheeraj Rajagopal, Siamak Shakeri+3 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用 6

一句话总结

本文提出了一种反事实数据增强方法，通过实体替换（随机或同类别）和名词替换为WordNet上位词来扰动摘要，从而在不改变MLE目标或模型架构的情况下，提升抽取式摘要的事实一致性。该方法在E2E NLI指标上使事实性提升2.5–3分，同时保持ROUGE分数不变，仅通过简单数据增强即实现事实正确性的提升。

ABSTRACT

Abstractive summarization systems based on pretrained language models often generate coherent but factually inconsistent sentences. In this paper, we present a counterfactual data augmentation approach where we augment data with perturbed summaries that increase the training data diversity. Specifically, we present three augmentation approaches based on replacing (i) entities from other and the same category and (ii) nouns with their corresponding WordNet hypernyms. We show that augmenting the training data with our approach improves the factual correctness of summaries without significantly affecting the ROUGE score. We show that in two commonly used summarization datasets (CNN/Dailymail and XSum), we improve the factual correctness by about 2.5 points on average

研究动机与目标

• 为解决通过最大似然估计（MLE）训练的抽取式摘要模型中持续存在的幻觉问题。
• 在不修改MLE目标或模型架构的前提下，提升生成摘要的事实一致性。
• 探索通过反事实扰动进行数据增强是否能在保持流畅性和ROUGE性能的同时提升事实性。
• 评估实体级和名词级扰动对摘要事实正确性的影响。
• 证明通过控制性错误引入训练数据多样性，可提升模型对事实不一致的鲁棒性。

提出的方法

• 通过在摘要上应用带控制编码的转换来增强训练数据，引入反事实扰动。
• 应用三种增强策略：将实体替换为随机实体（ER）、将实体替换为同类别中的其他实体（Cat-ER），以及将名词替换为其WordNet上位词（WN-Hyper）。
• 通过优化原始与转换后输入-摘要对的联合交叉熵损失，将增强样本整合到训练中：$\mathcal{L}_{S} = \frac{1}{M}\sum_{j=1}^{M} \left( \mathcal{L}_{CE}(\mathbf{x}_j,\mathbf{y}_j) + \mathcal{L}_{CE}(\tilde{\mathbf{x}}_j,\tilde{\mathbf{y}}_j) \right)$。
• 以T5-LARGE作为基础模型，在CNN/DailyMail和XSum数据集上进行训练，采用相同的训练步数和5个随机种子以确保公平比较。
• 通过去除噪声句子并过滤摘要中未登录实体来预处理数据集，以保证数据质量。
• 使用控制编码引导转换，确保模型学习生成对扰动具有鲁棒性且保持事实基础的摘要。

实验结果

研究问题

• RQ1 反事实数据增强是否能在不修改MLE目标的情况下提升抽取式摘要的事实一致性？
• RQ2 通过实体替换（随机或类别特定）引入扰动是否能增强模型对事实错误的鲁棒性？
• RQ3 将名词替换为其WordNet上位词在多大程度上能提升事实性，同时保持ROUGE分数？
• RQ4 摘要的抽象程度与事实正确性之间有何关联？数据增强能否缓解这一权衡？
• RQ5 仅通过数据增强能否提升事实性，还是必须依赖模型架构修改或额外损失组件？

主要发现

• 所提出的增强方法在CNN/DailyMail数据集上，使用E2E NLI指标，平均使事实正确性提升约3分。
• 在XSum数据集上，该方法使事实正确性提升2分，其中WN-Hyper策略在E2E NLI指标上取得最高提升（+3.2分）。
• 所有增强策略下的ROUGE分数均保持稳定，仅有轻微波动（如CNN/DailyMail的ΔROUGE-L为-1.5），表明流畅性和覆盖度得以保持。
• 使用增强数据训练的模型表现出更高的具体性，更多地在摘要中引入命名实体和来自输入的详细信息。
• 约9%的情况下，事实正确的摘要ROUGE分数低于原始模型，表明更高抽象度可能降低ROUGE分数，但能提升事实准确性。
• 结果表明，仅通过数据增强即可显著提升事实性，即使不进行架构修改或添加额外损失组件。