[论文解读] Get To The Point: Summarization with Pointer-Generator Networks

Abigail See, Peter J. Liu+1 more|arXiv (Cornell University)|Apr 14, 2017

Topic Modeling参考文献 28被引用 111

一句话总结

本文介绍了一种带有覆盖机制的混合指针生成网络用于神经抽象摘要，能够从源文本中复制并减少重复，并显示其在 CNN/Daily Mail 上优于现有的抽象模型。

ABSTRACT

Neural sequence-to-sequence models have provided a viable new approach for abstractive text summarization (meaning they are not restricted to simply selecting and rearranging passages from the original text). However, these models have two shortcomings: they are liable to reproduce factual details inaccurately, and they tend to repeat themselves. In this work we propose a novel architecture that augments the standard sequence-to-sequence attentional model in two orthogonal ways. First, we use a hybrid pointer-generator network that can copy words from the source text via pointing, which aids accurate reproduction of information, while retaining the ability to produce novel words through the generator. Second, we use coverage to keep track of what has been summarized, which discourages repetition. We apply our model to the CNN / Daily Mail summarization task, outperforming the current abstractive state-of-the-art by at least 2 ROUGE points.

研究动机与目标

• 通过将从源文本复制与生成新词相结合来推进抽象摘要。
• 降低神经摘要中的事实不准确性和重复现象。
• 在长文本摘要中有效处理词汇外词（OOV）。
• 在 CNN/Daily Mail 数据集上进行评估，并与抽象基线和抽取方法进行比较。

提出的方法

• 以带注意力的编码器-解码器为基线的 Seq2Seq 风格。
• 引入指针生成器机制，通过注意力（扩展词汇表）将词汇表中的生成与从源文本复制混合。
• 引入覆盖向量以跟踪注意力历史并使用覆盖损失惩罚重复。
• 以基于 ROUGE 的目标函数加覆盖损失训练；推理时使用 Adagrad 和束搜索。

实验结果

研究问题

• RQ1 混合指针生成模型是否能提高抽象摘要的事实准确性并处理 OOV 单词？
• RQ2 覆盖机制是否在不损害抽象性的前提下减少重复？
• RQ3 在 CNN/Daily Mail 上，带覆盖的指针生成器相对于抽象和抽取基线的性能如何？

主要发现

• 指针生成器在 CNN/Daily Mail 数据集上超过此前的抽象状态最先进水平，至少提高约2个 ROUGE 点。
• 覆盖显著减少重复，与无覆盖的指针生成器相比。
• 指针生成器通过从源文本复制，能够有效处理 OOV 单词并保留事实细节。
• 最佳模型（指针生成器+覆盖）在绝对 ROUGE 上仍落后于 lead-3 和某些抽取模型，突显 ROUGE 的偏见与数据集特征。