[论文解读] Global Encoding for Abstractive Summarization

Junyang Lin, Xu Sun+2 more|arXiv (Cornell University)|May 10, 2018

Topic Modeling参考文献 21被引用 23

一句话总结

该论文提出一种基于卷积门控单元（CGU）的全局编码框架，通过利用全局上下文精炼编码器表示，改进生成式摘要模型，减少重复并提升语义相关性。在LCSTS和Gigaword数据集上的实验表明，该模型的ROUGE-2 F1得分分别为26.8和17.8，显著降低了基线序列到序列模型的重复率。

ABSTRACT

In neural abstractive summarization, the conventional sequence-to-sequence (seq2seq) model often suffers from repetition and semantic irrelevance. To tackle the problem, we propose a global encoding framework, which controls the information flow from the encoder to the decoder based on the global information of the source context. It consists of a convolutional gated unit to perform global encoding to improve the representations of the source-side information. Evaluations on the LCSTS and the English Gigaword both demonstrate that our model outperforms the baseline models, and the analysis shows that our model is capable of reducing repetition.

研究动机与目标

• 解决基于注意力机制的序列到序列模型在生成式摘要中存在重复和语义无关的问题。
• 通过利用全局上下文精炼源端表示，提升生成摘要的质量。
• 通过全局编码过滤次要信息，降低对噪声或冗余注意力对齐的依赖。
• 提升模型对不同输入长度的鲁棒性，并增强生成摘要的语义连贯性。

提出的方法

• 在双向LSTM编码器输出之上应用卷积门控单元（CGU），实现全局编码。
• CGU使用参数共享的一维卷积，提取n-gram特征，并捕捉源文本中的局部相关性。
• 在CGU中引入自注意力机制，以建模编码器表示之间的长距离依赖和全局关系。
• 利用精炼后的编码器表示计算注意力分数，提升生成摘要的相关性和多样性。
• 采用交叉熵损失函数，结合编码器输出的软注意力机制，端到端训练模型。
• CGU的门控机制可选择性地保留关键信息，同时抑制噪声和冗余特征。

实验结果

研究问题

• RQ1 通过精炼源端表示，全局编码能否提升生成式摘要的质量与连贯性？
• RQ2 与标准序列到序列模型相比，所提出的CGU机制是否能有效减少生成摘要中的重复？
• RQ3 该模型在基准摘要数据集上的ROUGE得分提升了多少？
• RQ4 模型在不同输入长度和文本复杂度下的表现如何？

主要发现

• 在LCSTS数据集上，该模型的ROUGE-2 F1得分为26.8，优于基线模型。
• 在英文Gigaword数据集上，该模型的ROUGE-2 F1得分为17.8，展现出在大规模摘要任务中的强劲性能。
• 该模型显著减少了重复现象，1至4元语法的重复率更接近参考摘要，优于基线序列到序列模型。
• 生成的摘要更具语义相关性和连贯性，聚焦于核心信息（如价格差异），而非冗余细节（如国家名称）。
• 与标准序列到序列模型相比，基于CGU的模型对输入长度变化更具鲁棒性。
• 定性分析表明，该模型能更好地捕捉源文本的核心思想，例如准确识别出星巴克在中国的75%价格溢价。