[论文解读] Make Lead Bias in Your Favor: Zero-shot Abstractive News Summarization

Chenguang Zhu, Ziyi Yang+3 more|arXiv (Cornell University)|Dec 25, 2019

Topic Modeling参考文献 10被引用 6

一句话总结

本文提出利用新闻文章中的导语偏置作为自监督预训练信号，通过从文本其余部分预测导语句子来实现抽取式摘要的自监督预训练。基于大规模清洗后的新闻语料库，该方法在六个基准测试中显著提升了零样本性能，BART在DUC2003数据集上的ROUGE-1得分无需微调即提升了13.7%。

ABSTRACT

Lead bias is a common phenomenon in news summarization, where early parts of an article often contain the most salient information. While many algorithms exploit this fact in summary generation, it has a detrimental effect on teaching the model to discriminate and extract important information in general. We propose that the lead bias can be leveraged in our favor in a simple and effective way to pre-train abstractive news summarization models on large-scale unlabeled news corpora: predicting the leading sentences using the rest of an article. We collect a massive news corpus and conduct data cleaning and filtering via statistical analysis. We then apply the proposed self-supervised pre-training to existing generation models BART and T5 for domain adaptation. Via extensive experiments on six benchmark datasets, we show that this approach can dramatically improve the summarization quality and achieve state-of-the-art results for zero-shot news summarization without any fine-tuning. For example, in the DUC2003 dataset, the ROUGE-1 score of BART increases 13.7% after the lead-bias pre-training. We deploy the model in Microsoft News and provide public APIs as well as a demo website for multi-lingual news summarization.

研究动机与目标

• 通过实现零样本泛化而无需微调，解决低资源抽取式新闻摘要的挑战。
• 克服现有模型在推理过程中过度依赖导语偏置的局限性，从而提升泛化能力。
• 开发一种自监督预训练目标，利用导语偏置作为监督信号以改善表示学习。
• 利用大规模未标注数据，实现对现有生成模型（如BART和T5）在新闻摘要任务上的领域适应。
• 通过一种简单而有效的预训练策略，在多个基准数据集上实现最先进的零样本性能。

提出的方法

• 通过数据收集与统计过滤构建大规模新闻语料库，以去除低质量或噪声文章。
• 设计一种自监督预训练目标，仅使用文本其余部分预测文章的导语句子。
• 使用对比学习目标在掩码导语预测任务上微调预训练模型，以对齐表示。
• 通过此导语偏置预训练方法，对预训练模型（BART与T5）进行适配，实现无需任何下游微调的抽取式新闻摘要。
• 直接将预训练模型用于未见新闻文章的推理，实现零样本摘要。
• 在Microsoft News中部署最终模型，并发布公共API及多语言演示网站，以实现更广泛的访问。

实验结果

研究问题

• RQ1 新闻文章中的导语偏置能否被有效重用于作为自监督信号以提升抽取式摘要性能？
• RQ2 在导语预测目标上进行预训练是否能提升在未见数据集上的零样本摘要性能？
• RQ3 与标准掩码语言建模预训练相比，该方法在多大程度上提升了模型泛化能力？
• RQ4 在多个基准数据集上，该方法与现有方法在ROUGE得分上的表现如何比较？
• RQ5 该模型能否在无需任何下游数据微调的情况下实现最先进的零样本性能？

主要发现

• 所提出的导语偏置预训练方法在六个基准数据集上显著提升了零样本抽取式摘要性能。
• 在DUC2003数据集上，BART的ROUGE-1得分在导语偏置预训练后提升了13.7%，显示出显著的性能增益。
• 该方法在无需任何下游数据微调的情况下，实现了零样本新闻摘要的最先进结果。
• 该方法在不同新闻领域和语言间均表现出良好的泛化能力，这由多语言演示和公共API的部署所证实。
• 自监督预训练目标成功增强了模型对关键信息提取的能力，即使在没有摘要任务显式监督的情况下亦然。
• 性能提升在多个ROUGE指标上保持一致，表明在流畅性与事实召回率方面均有稳健提升。