[论文解读] Abstractive Text Summarization based on Language Model Conditioning and Locality Modeling

Dmitrii Aksenov, Julián Moreno Schneider+4 more|arXiv (Cornell University)|Mar 29, 2020

Topic Modeling参考文献 36被引用 12

一句话总结

该论文提出了一种新颖的摘要生成模型，通过将Transformer解码器条件化在BERT编码表示上，并在早期编码器层中引入二维卷积自注意力机制，以改善局部上下文建模。该模型采用BERT-windowing技术处理超过BERT 512个标记限制的长文本。在CNN/Daily Mail数据集上，该模型取得了最新的ROUGE分数，并在德语SwissText数据集上优于基线模型，自动评估与人工评估均显示其在事实一致性与流畅性方面表现更优。

ABSTRACT

We explore to what extent knowledge about the pre-trained language model that is used is beneficial for the task of abstractive summarization. To this end, we experiment with conditioning the encoder and decoder of a Transformer-based neural model on the BERT language model. In addition, we propose a new method of BERT-windowing, which allows chunk-wise processing of texts longer than the BERT window size. We also explore how locality modelling, i.e., the explicit restriction of calculations to the local context, can affect the summarization ability of the Transformer. This is done by introducing 2-dimensional convolutional self-attention into the first layers of the encoder. The results of our models are compared to a baseline and the state-of-the-art models on the CNN/Daily Mail dataset. We additionally train our model on the SwissText dataset to demonstrate usability on German. Both models outperform the baseline in ROUGE scores on two datasets and show its superiority in a manual qualitative analysis.

研究动机与目标

• 通过利用类似BERT的预训练语言模型进行更好的上下文编码，以提升抽象文本摘要的质量。
• 针对BERT输入窗口限制在512个标记的问题，提出一种级联式BERT-windowing方法以处理长文档。
• 通过在编码器早期层引入二维卷积自注意力机制，增强局部依赖关系建模。
• 在英语（CNN/Daily Mail）与德语（SwissText）数据集上评估模型性能，验证其跨语言适用性。
• 提供一个稳健且公开可用的系统，可集成至NLP平台，包括Lynx与QURATOR。

提出的方法

• 将基于Transformer的模型的编码器与解码器条件化在BERT生成的上下文表征上，以提升输入文本的语义理解能力。
• 在编码器的前几层引入二维卷积自注意力机制，以显式建模局部标记依赖关系，增强表征学习能力。
• 提出一种BERT-windowing技术，通过重叠或顺序处理长文本的窗口，聚合表征以处理超过512个标记的序列。
• 采用端到端的序列到序列生成方式，使用交叉熵损失进行训练，并在摘要数据集上进行微调。
• 通过在SwissText数据集上微调，将相同架构应用于德语文本，验证其多语言泛化能力。
• 使用ROUGE分数与人工评估对比基线模型与SOTA模型的性能表现。

实验结果

研究问题

• RQ1 将Transformer解码器条件化在BERT表征上，是否能提升抽象摘要的质量？
• RQ2 在编码器早期层中引入二维卷积自注意力机制，是否能增强局部上下文建模并提升摘要性能？
• RQ3 BERT-windowing技术是否能有效扩展BERT的输入长度至512个标记以上，且不造成显著性能下降？
• RQ4 所提出的模型是否能泛化至低资源或非英语语言，如德语？
• RQ5 在自动评估（ROUGE）与定性评估（人工评估）中，该模型相较于SOTA方法表现如何？

主要发现

• 该模型在CNN/Daily Mail数据集上取得了新的SOTA ROUGE分数，超越了先前的SOTA方法。
• 采用卷积自注意力与BERT条件化的模型在ROUGE分数与定性分析中均优于基线模型，生成的摘要更具流畅性与事实一致性。
• BERT-windowing技术能够有效处理超过BERT 512标记限制的长文档，同时保持高质量的摘要生成能力。
• 该模型在德语SwissText数据集上表现优异，证实了其多语言适用性与鲁棒性。
• 人工评估确认，与基线模型相比，该模型生成的摘要更具信息量且语法更正确。
• 该模型的源代码已公开，并已集成至Lynx与QURATOR等生产级NLP平台。