[论文解读] Length-controllable Abstractive Summarization by Guiding with Summary Prototype

Itsumi Saito, Kyosuke Nishida+6 more|arXiv (Cornell University)|Jan 21, 2020

Topic Modeling参考文献 18被引用 24

一句话总结

本文提出了一种长度可控的摘要生成模型，通过词级别抽取式原型来指导内容选择与长度控制。通过先提取一个长度受限的重要词原型，再将其作为联合编码器-解码器模型的输入，该方法生成了更丰富信息且长度精确的摘要，在 CNN/Daily Mail 和 NEWSROOM 数据集上优于先前的方法。

ABSTRACT

We propose a new length-controllable abstractive summarization model. Recent state-of-the-art abstractive summarization models based on encoder-decoder models generate only one summary per source text. However, controllable summarization, especially of the length, is an important aspect for practical applications. Previous studies on length-controllable abstractive summarization incorporate length embeddings in the decoder module for controlling the summary length. Although the length embeddings can control where to stop decoding, they do not decide which information should be included in the summary within the length constraint. Unlike the previous models, our length-controllable abstractive summarization model incorporates a word-level extractive module in the encoder-decoder model instead of length embeddings. Our model generates a summary in two steps. First, our word-level extractor extracts a sequence of important words (we call it the "prototype text") from the source text according to the word-level importance scores and the length constraint. Second, the prototype text is used as additional input to the encoder-decoder model, which generates a summary by jointly encoding and copying words from both the prototype text and source text. Since the prototype text is a guide to both the content and length of the summary, our model can generate an informative and length-controlled summary. Experiments with the CNN/Daily Mail dataset and the NEWSROOM dataset show that our model outperformed previous models in length-controlled settings.

研究动机与目标

• 为解决摘要生成中可控性不足的问题，尤其是摘要长度控制，这对实际部署至关重要。
• 克服长度嵌入方法的局限性，后者虽能控制解码长度，但无法在约束条件下有效控制内容选择。
• 通过从词级别重要性得分中学习得到的可学习原型文本，引入内容感知引导，以提升摘要质量。
• 通过适应特定领域的摘要长度偏好，实现对多种文本风格的灵活长度控制。
• 证明基于原型的引导方法在标准和长度控制摘要生成设置下，均优于基于长度嵌入的基线模型。

提出的方法

• 一个词级别的抽取模块使用基于 BERT 的编码，为源文本中的每个词计算重要性得分。
• 提取重要性得分最高的 K 个词作为原型文本，其中 K 由期望的摘要长度决定。
• 将原型文本作为额外输入送入编码器-解码器模型，实现对源文本和原型的联合编码。
• 抽象解码器同时关注源文本和原型，使其能够复制关键词汇并生成流畅简洁的摘要。
• 模型采用指针-生成器架构，并结合增强的注意力机制，以平衡复制与生成。
• 原型提取器与抽象模型端到端联合训练，确保内容选择与摘要生成之间的一致性。

实验结果

研究问题

• RQ1 基于原型的方法是否能在长度可控的摘要生成任务中超越基于长度嵌入的方法？
• RQ2 使用词级别的抽取模块是否能在长度约束下提升内容相关性与摘要质量？
• RQ3 该模型能否在具有不同摘要长度的各类新闻领域中实现良好泛化？
• RQ4 将领域特定的平均长度偏好作为约束条件，是否能提升摘要生成性能？
• RQ5 在不使用强化学习的情况下，基于原型的生成能否实现更高的 ROUGE 分数？

主要发现

• 所提模型在 CNN/Daily Mail 和 NEWSROOM 数据集上，相较于官方基线模型以及 LPAS w/o Prototype 基线，均取得了显著更高的 ROUGE 分数。
• 在标准和长度控制两种设置下，该模型均优于基于长度嵌入的模型，表明其在内容控制与流畅性方面具有优越性能。
• 将领域平均长度作为约束条件后，ROUGE 分数得到提升，表明模型能有效适应新闻文本在风格上的差异。
• 原型提取器成功引导抽象模型在保持目标长度的同时包含关键信息，这一结果由高 ROUGE-F1 分数得以证实。
• 该模型在未使用强化学习的情况下仍表现出强大性能，表明仅靠原型引导即可为内容选择提供有效监督。
• 消融实验确认，原型模块对性能至关重要，移除后性能显著下降。