[论文解读] Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond

Ramesh Nallapati, Bowen Zhou+3 more|arXiv (Cornell University)|Feb 19, 2016

Topic Modeling参考文献 27被引用 375

一句话总结

论文将注意力序列到序列RNN用于摘要生成进行了改进，引入若干增强（关键词、开关生成器-指针、层次与时序注意力），在Gigaword和DUC达到最新水平，并提供一个多句CNN/Daily Mail数据集及基准。

ABSTRACT

In this work, we model abstractive text summarization using Attentional Encoder-Decoder Recurrent Neural Networks, and show that they achieve state-of-the-art performance on two different corpora. We propose several novel models that address critical problems in summarization that are not adequately modeled by the basic architecture, such as modeling key-words, capturing the hierarchy of sentence-to-word structure, and emitting words that are rare or unseen at training time. Our work shows that many of our proposed models contribute to further improvement in performance. We also propose a new dataset consisting of multi-sentence summaries, and establish performance benchmarks for further research.

研究动机与目标

• 证明标准的注意力编码器-解码器RNN能够为英语语料库生成高质量的抽象摘要。
• 识别并解决未被基于机器翻译的模型充分捕捉到的关键摘要挑战（关键词、长文档、罕见/未见词汇）。
• 提出改进基线基准性能和鲁棒性的模型扩展。
• 引入一个多句抽象摘要数据集并为未来研究建立基准结果。

提出的方法

• 使用带有双向编码器（GRU）和单向解码器（GRU）的注意力编码-解码RNN。
• 应用大型词汇技巧以限制解码器softmax的大小并加速训练。
• 通过将词性、命名实体识别、TF/IDF的嵌入与词嵌入拼接，构建特征丰富的编码器。
• 引入切换生成器/指针机制，在需要时从源文本复制罕见/未见词汇。
• 实现层次化注意力，以联合建模词级和句级重要性，并使用句子位置嵌入。
• 引入时序注意力，避免在解码步骤中对同一源文本部分重复聚焦（在 CNN/Daily Mail 实验中）。

实验结果

研究问题

• RQ1 标准注意力序列到序列RNN是否能够在英语语料上超越最先进的摘要系统？
• RQ2 有针对性的模型增强（关键词、拷贝、层次/时序注意力）是否能在抽象质量上带来可衡量的提升？
• RQ3 多句摘要在Gigaword、DUC和CNN/Daily Mail数据集上的表现对比如何？
• RQ4 使用新的多句数据集可以为未来的抽象摘要研究建立哪些基准？

主要发现

模型名称	Rouge-1	Rouge-2	Rouge-L	源词拷贝率 (%)	我们内部测试集上的全长度F1
words-lvt2k-1sent	34.97	17.17	32.70	75.85
words-lvt2k-2sent	35.73	17.38	33.25	79.54
words-lvt2k-2sent-hieratt	36.05	18.17	33.52	78.52
feats-lvt2k-2sent	35.90	17.57	33.38	78.92
feats-lvt2k-2sent-ptr	36.40	17.77	33.71	78.70

• 带注意力的序列到序列RNN在Gigaword上达到最先进的性能，在DUC-2004上取得有竞争力的结果，且无需针对数据集进行特定调优。
• 添加关键词感知特征在基线编码-解码器之上提升了性能。
• 切换生成器/指针机制取得最佳 Rouge 分数并提高源词复制率，有助于处理罕见/未见单词。
• 层次化注意力同时捕捉词级和句级的重要性，相对于扁平注意力带来增量提升。
• 时序注意力减少多句摘要中的重复，并提高 CNN/Daily Mail 的 Rouge-F1 分数。
• 发布新的 CNN/Daily Mail 多句抽象摘要数据集，用于大规模训练与基准测试。