[论文解读] Diverse Beam Search for Increased Novelty in Abstractive Summarization

André Cibils, Claudiu Musat+2 more|arXiv (Cornell University)|Feb 5, 2018

Topic Modeling参考文献 17被引用 8

一句话总结

本文提出一种多样化的束搜索（DBS）方法，以减少抽取式摘要中的抽取倾向，同时提升ROUGE得分。通过在束搜索损失中引入多样性因子，并利用句子嵌入将多个多样化摘要进行组合，该方法降低了对复制文本的依赖，使ROUGE-1、ROUGE-2和ROUGE-L的得分均提升2分以上，同时增强了摘要的创新性与自动评估指标表现。

ABSTRACT

Text summarization condenses a text to a shorter version while retaining the important informations. Abstractive summarization is a recent development that generates new phrases, rather than simply copying or rephrasing sentences within the original text. Recently neural sequence-to-sequence models have achieved good results in the field of abstractive summarization, which opens new possibilities and applications for industrial purposes. However, most practitioners observe that these models still use large parts of the original text in the output summaries, making them often similar to extractive frameworks. To address this drawback, we first introduce a new metric to measure how much of a summary is extracted from the input text. Secondly, we present a novel method, that relies on a diversity factor in computing the neural network loss, to improve the diversity of the summaries generated by any neural abstractive model implementing beam search. Finally, we show that this method not only makes the system less extractive, but also improves the overall rouge score of state-of-the-art methods by at least 2 points.

研究动机与目标

• 为解决当前最先进的抽取式摘要模型（尤其是使用pointer-generator网络的模型）对提取文本的过度依赖问题。
• 开发一种新指标，以定量衡量抽取式摘要中的抽取程度，克服传统抄袭检测方法的局限性。
• 通过修改束搜索解码策略以偏好多样化、非冗余输出，提升摘要的创新性。
• 证明减少抽取倾向可与更高的ROUGE得分共存，挑战了‘更高ROUGE需更多复制’的假设。
• 提供一种即插即用的方法，兼容任何基于束搜索的抽取式摘要模型，以同时提升多样性与性能。

提出的方法

• 提出一种新型抽取性度量指标——plagiarism_score，用于量化摘要内容从输入文本中复制的比例。
• 提出一种具备多样性感知的束搜索方法，通过修改损失函数来惩罚候选序列之间的相似性，从而促进语言多样性。
• 利用句子嵌入计算候选摘要之间的相似性，并应用最大边际相关性（MMR）策略，从束搜索输出中选择多样化且高质量的摘要。
• 采用基于MMR的选择机制，将多个多样化的束搜索输出进行组合，生成最终摘要，从而提升创新性与覆盖度。
• 将该方法应用于现有抽取式模型（如Pointer-Generator Network），无需修改网络架构，实现即插即用的集成。
• 通过调节MMR算法中的参数N（句子数量）和β（多样性权衡因子），优化摘要长度与多样性的权衡。

实验结果

研究问题

• RQ1 新度量指标能否准确衡量抽取式摘要的抽取性，特别是在摘要包含多个复制片段时？
• RQ2 在抽取式摘要中应用多样化束搜索是否能减少对输入文本的复制依赖，同时保持或提升ROUGE得分？
• RQ3 能否有效结合束搜索输出的多样性，生成既更具创新性又在自动评估指标上表现更高的摘要？
• RQ4 所提出的抽取性度量指标是否与人类对摘要质量与创新性的判断具有相关性？
• RQ5 该方法是否能在使用束搜索的不同抽取式摘要模型上实现泛化？

主要发现

• 所提出的抽取性度量指标（包括plagiarism_score和extraction_score）与人类判断具有良好的相关性，能识别出传统抄袭检测工具所遗漏的高度抽取行为。
• 采用N=3和β=0.35的多样化束搜索，将plagiarism_score从基线PGNet的0.401降至0.368，extraction_score从0.401降至0.282，表明复制行为显著减少。
• 当N=4且β=0.20时，plagiarism_score进一步降至0.211，表明更长的摘要能更优地分布相关内容，而无需过度复制。
• 与基线PGNet相比，该方法使ROUGE-1、ROUGE-2和ROUGE-L的F1得分均提升2分以上，证明了减少抽取倾向与提升摘要质量的双赢效果。
• 基于MMR与句子嵌入的多样化摘要组合机制，成功在不重新训练模型的前提下，同时提升了摘要的创新性与ROUGE得分。
• 该方法可广泛适用于任何基于束搜索的抽取式摘要模型，是工业与研究应用中实用且高效的增强方案。