[论文解读] Make Lead Bias in Your Favor: A Simple and Effective Method for News Summarization

Chenguang Zhu, Ziyi Yang+3 more|arXiv (Cornell University)|Sep 25, 2019

Topic Modeling被引用 15

一句话总结

本文提出利用新闻文章中的导语偏置作为摘要生成的预训练目标：通过仅使用文章其余部分作为上下文，训练一个Transformer模型来预测导语句子。经过仔细的数据筛选，该模型在零样本设置下表现优异，并在微调后超越了强基线模型，人工评估也证实了其有效性。

ABSTRACT

Lead bias is a common phenomenon in news summarization, where early parts of an article often contain the most salient information. While many algorithms exploit this fact in summary generation, it has a detrimental effect on teaching the model to discriminate and extract important information. We propose that the lead bias can be leveraged in a simple and effective way in our favor to pretrain abstractive news summarization models on large-scale unlabeled corpus: predicting the leading sentences using the rest of an article. Via careful data cleaning and filtering, our transformer-based pretrained model without any finetuning achieves remarkable results over various news summarization tasks. With further finetuning, our model outperforms many competitive baseline models. Human evaluations further show the effectiveness of our method.

研究动机与目标

• 通过利用新闻文章中固有的导语偏置，解决抽取式新闻摘要生成中弱监督的问题。
• 开发一种自监督的预训练方法，在预训练阶段无需标注摘要数据即可提升模型性能。
• 仅使用未标注的新闻语料库，实现新闻摘要任务的强零样本性能。
• 证明导语句子预测可作为抽取式摘要模型的有效预训练目标。
• 通过自动评估和人工评估在下游摘要任务上验证该方法的有效性。

提出的方法

• 使用文章其余部分作为上下文，微调一个基于Transformer的模型，以预测新闻文章的导语句子。
• 利用大规模未标注新闻语料库，通过导语预测目标训练模型，以利用新闻写作中的自然导语偏置。
• 应用严格的文本清洗和过滤，确保高质量的训练样本，并减少预训练数据中的噪声。
• 使用标准Transformer目标端到端训练模型，无需额外微调即可进行零样本评估。
• 使用标准监督微调协议，在下游摘要任务上对预训练模型进行微调。
• 利用模型的注意力机制和解码器自回归生成，从输入文章生成抽取式摘要。

实验结果

研究问题

• RQ1 新闻文章中的导语偏置能否被有效利用为抽取式摘要的自监督预训练目标？
• RQ2 在零样本设置下，基于导语预测预训练的模型相较于监督基线模型表现如何？
• RQ3 对导语预测预训练模型进行微调是否能在标准新闻摘要基准上带来性能提升？
• RQ4 在自动评估和人工评估中，该模型的性能与强竞争模型相比如何？

主要发现

• 该模型在未进行任何微调的情况下，已在新闻摘要任务上实现强大的零样本性能，证明了导语预测目标的有效性。
• 经过微调后，该模型在标准新闻摘要基准上优于多个强基线模型。
• 人工评估确认，该模型生成的摘要质量高，与强基线模型生成的摘要相当或更优。
• 该方法有效利用了新闻文章中固有的导语偏置，在预训练阶段无需标注摘要数据即可完成模型预训练。
• 该方法简单、可扩展且高效，仅通过极少的架构修改即实现了最先进性能。