[论文解读] Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback

Paul Roit, Johan Ferret+17 more|arXiv (Cornell University)|May 31, 2023

Topic Modeling被引用 4

一句话总结

该论文提出了一种基于蕴涵反馈的强化学习方法（RLEF），通过在强化学习微调过程中使用文本蕴涵模型作为无参考奖励信号，提升了抽取式摘要中的事实一致性。该方法在无需参考摘要的情况下，显著提升了摘要的忠实度、关键信息保留度和简洁性，在XSum数据集上通过自动指标和人工评估均优于强基线模型。

ABSTRACT

Despite the seeming success of contemporary grounded text generation systems, they often tend to generate factually inconsistent text with respect to their input. This phenomenon is emphasized in tasks like summarization, in which the generated summaries should be corroborated by their source article. In this work, we leverage recent progress on textual entailment models to directly address this problem for abstractive summarization systems. We use reinforcement learning with reference-free, textual entailment rewards to optimize for factual consistency and explore the ensuing trade-offs, as improved consistency may come at the cost of less informative or more extractive summaries. Our results, according to both automatic metrics and human evaluation, show that our method considerably improves the faithfulness, salience, and conciseness of the generated summaries.

研究动机与目标

• 解决抽取式摘要中的事实不一致问题，即模型生成幻觉或无支持的主张。
• 在不依赖参考摘要的前提下提升事实一致性，从而实现在无人工标注参考的训练数据上的训练。
• 在事实一致性与关键信息保留度及连贯性之间取得平衡，避免生成退化或过度抽取式摘要。
• 利用预训练的文本蕴涵模型作为可扩展、通用的事实性奖励信号，用于文本生成。
• 探索在不同正则化和解码策略下，一致性、信息量与模型行为之间的权衡。

提出的方法

• 使用基于输入文档与生成摘要之间文本蕴涵关系的奖励信号，通过强化学习（RL）微调预训练摘要模型。
• 使用预训练的自然语言蕴涵（NLI）模型计算蕴涵分数，作为事实一致性的奖励，将蕴涵视为事实正确性的代理指标。
• 在RL策略与预训练的基准模型之间应用KL正则化，以防止分布偏移，同时保持关键信息保留度与连贯性。
• 使用结合了蕴涵奖励与KL正则化的正则化强化学习目标进行策略优化，应用策略梯度定理处理组合奖励。
• 采用端到端的策略梯度方法进行训练，其中奖励信号直接从输入文档与生成摘要对中计算，无需参考摘要。
• 使用超参数α来平衡事实一致性（蕴涵奖励）与保留原始模型能力（KL正则化）之间的权衡。

Figure 1: Summaries produced by multiple methods from a news article in the XSum dataset. Hallucinations or contradictions are highlighted in red. Note how the T5 generated summary mentions that there is a fall in operating profits for the second year in a row , while the article only discusses a re

实验结果

研究问题

• RQ1 文本蕴涵模型能否作为有效的无参考奖励信号，用于提升抽取式摘要中的事实一致性？
• RQ2 使用蕴涵反馈进行强化学习微调，如何影响生成摘要在事实一致性、关键信息保留度与简洁性之间的权衡？
• RQ3 通过与基准模型的KL正则化，能在多大程度上保留原始摘要模型的优势，同时提升事实忠实度？
• RQ4 模型规模、正则化强度与解码策略如何相互作用，以决定强化学习优化摘要模型的最终性能？
• RQ5 所提出的方法是否在自动指标与人工评估中均优于强基线模型，在事实一致性和摘要质量方面表现更优？

主要发现

• RLEF方法在自动指标与人工评估中均显著优于强基线模型，在事实一致性方面取得显著提升。
• 人工评估确认，RLEF生成的摘要比基线模型更具忠实度、关键信息保留度与简洁性。
• 该方法在不依赖参考摘要的情况下有效减少了幻觉现象，使其适用于低资源或无参考设置。
• 经过恰当调优的正则化（通过与基准模型的KL散度实现）可防止模型变得过度抽取或信息量不足。
• 一致性与信息量之间的权衡高度依赖于超参数，如正则化权重α与解码策略。
• 结果表明，基于蕴涵的奖励是改善文本生成事实一致性的可行且有效替代方案，可替代人类反馈或基于参考的奖励。

Figure 2: RLEF training loop: (Left) given an input document, the policy generates a summary to be scored by the NLI model for consistency; (Right) given a document and the current generated summary, the KL distance between the RL and anchor model policies is used for regularization; Both scores are