[论文解读] Controlling Decoding for More Abstractive Summaries with Copy-Based Networks

Noah Weber, Leena Shekhar+2 more|arXiv (Cornell University)|Mar 19, 2018

Topic Modeling参考文献 15被引用 12

一句话总结

该论文提出了一种简单、无需微调的解码方法，通过惩罚倾向于复制的低混合系数来控制指针-生成网络在抽取式摘要中的抽象程度。该方法将输入的n-gram重叠度降低了最多24.79个百分点（从28.72%降至3.93%，针对25-gram），同时保持ROUGE分数与原始模型相差不超过2分，有效促进了更具抽象性的摘要生成，且无需重新训练模型。

ABSTRACT

Attention-based neural abstractive summarization systems equipped with copy mechanisms have shown promising results. Despite this success, it has been noticed that such a system generates a summary by mostly, if not entirely, copying over phrases, sentences, and sometimes multiple consecutive sentences from an input paragraph, effectively performing extractive summarization. In this paper, we verify this behavior using the latest neural abstractive summarization system - a pointer-generator network. We propose a simple baseline method that allows us to control the amount of copying without retraining. Experiments indicate that the method provides a strong baseline for abstractive systems looking to obtain high ROUGE scores while minimizing overlap with the source article, substantially reducing the n-gram overlap with the original article while keeping within 2 points of the original model's ROUGE score.

研究动机与目标

• 探究为何最先进的指针-生成网络在抽取式摘要任务中仍常生成类似抽取式的摘要，尽管其设计初衷是实现抽象生成。
• 解决解码过程中过度复制的问题，该问题会损害抽取式摘要的目标。
• 开发一种在推理阶段控制抽象程度的方法，而无需重新训练模型。
• 评估减少复制是否能提升摘要的新颖性，同时保持高ROUGE和METEOR分数。

提出的方法

• 该方法通过在束搜索的束得分中引入惩罚项来修改束搜索，以抑制平均混合系数偏离预设目标值的假设。
• 在解码过程中，跟踪每个假设的混合系数 $ m_t $，该系数控制生成新词与从输入中复制之间的平衡。
• 设定目标混合系数 $ m^* $（例如0.4），以鼓励更多生成行为并减少复制；对偏离该目标值的偏差在束得分中施加惩罚。
• 惩罚项通过超参数 $ \eta $ 进行缩放，从而在推理过程中实现对抽象程度的精细调节。
• 该方法仅在推理阶段运行，无需对模型进行重新训练或架构修改。
• 该方法在CNN/DailyMail数据集上通过ROUGE、METEOR和n-gram重叠度指标进行了评估。

实验结果

研究问题

• RQ1 在推理过程中，指针-生成网络在抽取式摘要任务中在多大程度上依赖从输入中复制内容？
• RQ2 是否可以在不重新训练模型的前提下，在解码过程中控制生成摘要的抽象程度？
• RQ3 减少与输入的n-gram重叠度是否能提升摘要的抽象性，同时保持自动评估指标的分数？
• RQ4 所提出的解码方法如何影响模型从多个输入句子中浓缩信息的能力？

主要发现

• 指针-生成模型在推理过程中与输入的n-gram重叠度极高，尤其是在使用覆盖惩罚时，25-gram中有28.72%与输入匹配。
• 在使用覆盖惩罚的情况下，所提出的复制控制解码方法将25-gram重叠度从28.72%降低至3.93%，降幅达24.79个百分点。
• ROUGE-L分数与原始模型相差不超过2分（27.63 vs. 28.86），METEOR分数几乎完全相同，表明质量下降可忽略不计。
• 该方法能够生成更具抽象性的摘要：示例显示生成了输入中不存在的新词，如"orders"和"says"，并能将多条句子浓缩为一条。
• 热力图分析证实，受控解码更倾向于提高混合系数，破坏了僵化的复制序列，使注意力能够跨输入段落自由转移。
• 该方法在使用覆盖惩罚的模型上依然有效，而这类模型本会增加复制行为，表明其具有鲁棒性和实际应用价值。