[论文解读] Bottom-Up Abstractive Summarization

Sebastian Gehrmann, Yuntian Deng+1 more|arXiv (Cornell University)|Aug 31, 2018

Topic Modeling被引用 39

一句话总结

本文提出一种自下而上的抽象摘要框架，利用数据高效的内容选择器在生成流畅、压缩的摘要前识别源文档中的关键短语。通过应用掩码机制，仅限制复制所选短语，该方法在CNN-DM和NYT数据集上的ROUGE分数提升超过2分，同时仅需1,000条领域内句子即可实现有效的领域迁移。

ABSTRACT

Neural network-based methods for abstractive summarization produce outputs that are more fluent than other techniques, but which can be poor at content selection. This work proposes a simple technique for addressing this issue: use a data-efficient content selector to over-determine phrases in a source document that should be part of the summary. We use this selector as a bottom-up attention step to constrain the model to likely phrases. We show that this approach improves the ability to compress text, while still generating fluent summaries. This two-step process is both simpler and higher performing than other end-to-end content selection models, leading to significant improvements on ROUGE for both the CNN-DM and NYT corpus. Furthermore, the content selector can be trained with as little as 1,000 sentences, making it easy to transfer a trained summarizer to a new domain.

研究动机与目标

• 为解决端到端神经抽象摘要模型内容选择性能差的问题，这些模型尽管生成流畅，却常产生过度抽取式输出。
• 开发一种内容选择模型，仅使用极少的训练数据即可高召回率和高精确率地识别源文档中的重要短语。
• 将内容选择作为自下而上的注意力机制集成，以约束抽象生成过程，从而提升摘要的压缩性和相关性。
• 通过仅在1,000条领域内句子上训练内容选择器，实现向新领域的有效迁移学习。
• 证明提升内容选择能力，而非复杂端到端训练，是提升抽象摘要中ROUGE分数的关键。

提出的方法

• 将内容选择建模为序列标注任务，利用上下文词嵌入（如ELMo）识别可能出现在摘要中的词元。
• 训练一个独立的内容选择器模型，预测二值掩码以指示哪些词应包含在摘要中，要求召回率（>60%）和精确率（>50%）均较高。
• 在推理阶段应用该掩码，仅允许指针-生成解码器从选定短语中复制内容，从而强制生成语法正确且压缩的输出。
• 通过掩码机制阻止未选中词的复制，迫使模型生成替代表达或改写，从而提升抽象性。
• 尝试多种训练策略，包括多任务学习和可微分掩码，以将内容选择器整合到端到端模型中。
• 使用ROUGE指标在CNN-DM和NYT数据集上评估该方法，并与强基线模型（包括强化学习和指针-生成模型）进行比较。

实验结果

研究问题

• RQ1 一个简单且数据高效的的内容选择模型是否能在不增加模型复杂度的前提下提升抽象摘要性能？
• RQ2 通过掩码实现自下而上的注意力机制，是否相比标准指针-生成模型能带来更好的内容压缩效果和更高的ROUGE分数？
• RQ3 在仅用1,000条领域内句子进行训练的情况下，内容选择器在新领域上的摘要性能能提升到何种程度？
• RQ4 自下而上的方法如何影响抽取式与抽象式生成之间的平衡，特别是在新词使用和短语长度方面？
• RQ5 仅通过推理阶段的惩罚机制是否能达到与所提出的显式内容掩码机制相当的效果，还是必须依赖显式掩码？

主要发现

• 自下而上的抽象摘要模型将CNN-DM语料库的ROUGE-L分数从36.4提升至38.3，显著优于基线指针-生成模型。
• 尽管采用最大似然估计（MLE）进行训练，该方法在性能上仍可与近期基于强化学习的抽象摘要模型相媲美或更优。
• 内容选择器在识别相关摘要短语方面实现了超过60%的召回率和50%的精确率，证明其在极少监督下的强大性能。
• 仅使用1,000条领域内句子，内容选择器在微调CNN-DM预训练模型后，使NYT语料库的ROUGE-L分数提升超过5分。
• 自下而上的注意力机制将生成摘要中新颖词的比例从基线的6.6%降至0.5%，表明生成行为更趋抽取式，但仍保持流畅性和语法正确性。
• 被复制短语长度的分布发生显著变化：尽管参考摘要偏好1–5个词的短语，基线指针-生成模型却常复制大量完整句子（>11个词），而掩码机制能有效中断此类行为。