[论文解读] Cutting-off Redundant Repeating Generations for Neural Abstractive Summarization

Jun Suzuki, Masaaki Nagata|arXiv (Cornell University)|Dec 31, 2016

Natural Language Processing Techniques参考文献 18被引用 4

一句话总结

该论文提出了一种词频估计（WFE）子模型，在编码阶段联合估计每个目标词汇词的上限频率，并利用该估计值在基于RNN的抽取式摘要生成中抑制重复生成。通过基于估计的频率限制控制输出词的生成，该方法显著减少了重复现象，并提升了ROUGE分数，在不改变主模型架构的前提下，在基准数据集上实现了最先进性能。

ABSTRACT

This paper tackles the reduction of redundant repeating generation that is often observed in RNN-based encoder-decoder models. Our basic idea is to jointly estimate the upper-bound frequency of each target vocabulary in the encoder and control the output words based on the estimation in the decoder. Our method shows significant improvement over a strong RNN-based encoder-decoder baseline and achieved its best results on an abstractive summarization benchmark.

研究动机与目标

• 解决基于RNN的编码器-解码器模型在抽取式摘要任务中重复生成的问题。
• 改善输出长度受限时的抽取式摘要任务性能，避免冗余内容浪费有限的生成空间。
• 开发一种显式管理输出词频的方法，防止特定词汇或短语的过度生成。
• 在Gigaword和DUC-2004等标准抽取式摘要基准数据集上评估所提方法的有效性。
• 证明基于频率的控制可同时提升自动评估指标与人工评分的生成质量。

提出的方法

• 该方法引入一个词频估计（WFE）子模型，在编码阶段估计每个目标词在摘要中可能出现的最大次数。
• WFE子模型跟踪每个词已生成的次数，并预测其潜在的未来使用次数，从而实现对过度生成的抑制。
• 在解码阶段，模型利用估计的频率边界对可能超出其估计上限的输出词进行惩罚或抑制。
• 该方法将WFE子模型集成到标准的基于RNN的编码器-解码器模型中，采用全局注意力机制，且不修改主架构。
• WFE组件使用可学习函数估计词频，并应用基于边距的约束以避免对精确计数的过拟合。
• 该方法通过标准的逐点对数似然最大化进行训练，并采用束搜索解码与K个最佳结果选择进行评估。

实验结果

研究问题

• RQ1 一个能估计每个目标词上限频率的子模型，是否能有效减少抽取式摘要中的重复生成？
• RQ2 在低资源或长度受限的摘要任务中，基于频率的控制是否能提升ROUGE等自动评估指标？
• RQ3 所提方法是否能在不改变架构或使用复杂训练方案的前提下，超越强基线的RNN模型？
• RQ4 即使频率估计准确度一般，WFE子模型在实际应用中效果如何？
• RQ5 该方法是否可推广至其他有损压缩任务，如图像字幕生成？

主要发现

• 在Gigaword数据集上，EncDec+WFE模型在ROUGE-1(F)、ROUGE-2(F)和ROUGE-L(F)指标上显著优于强基线，分别提升了33.65、16.12和31.37。
• 在DUC-2004基准上，EncDec+WFE达到了最先进性能，优于此前所有顶尖系统，包括使用最小风险训练（MRT）的系统。
• 定性分析表明，该方法有效减少了重复短语和词汇，如“black women black women”和“pinochet’s pinochet’s”，这些在基线中十分常见。
• 尽管WFE子模型的频率估计准确度一般（如混淆矩阵所示），其在整体生成质量与ROUGE分数上仍带来显著提升。
• 结果表明，即使频率估计不够精确，只要用于控制生成过程，仍能发挥高度有效性，说明该方法具有强鲁棒性。
• 该方法与序列级训练目标（如MRT）兼容，表明结合此类技术后可能进一步提升性能。