[论文解读] Combination of abstractive and extractive approaches for summarization of long scientific texts

Vladislav Tretyak, Denis Stepanov|arXiv (Cornell University)|Jun 9, 2020

Topic Modeling参考文献 11被引用 4

一句话总结

本文提出了一种混合摘要方法，结合抽取式和生成式基于Transformer的模型，以生成长篇科学文本的高质量摘要。首先使用预训练的BERT模型提取关键句子，然后将抽取式摘要、引言和结论作为条件输入，输入到BART生成式模型中，最终在arXiv数据集上实现了SOTA的ROUGE分数：45.3（Rouge-1）、25.1（Rouge-2）和36.2（Rouge-L）。

ABSTRACT

In this research work, we present a method to generate summaries of long scientific documents that uses the advantages of both extractive and abstractive approaches. Before producing a summary in an abstractive manner, we perform the extractive step, which then is used for conditioning the abstractor module. We used pre-trained transformer-based language models, for both extractor and abstractor. Our experiments showed that using extractive and abstractive models jointly significantly improves summarization results and ROUGE scores.

研究动机与目标

• 通过结合抽取式与生成式方法，提升长篇科学文档的摘要质量。
• 探究不同条件输入（如抽取式摘要、引言、结论）对生成式摘要性能的影响。
• 评估预训练Transformer模型在长篇科学文本摘要任务中是否优于先前方法。
• 确定抽取式与生成式组件的最佳组合，以提升ROUGE分数。
• 验证假设：抽取式摘要及关键部分（引言/结论）包含对生成式摘要最相关的信息。

提出的方法

• 基于BERT、RoBERTa或ELECTRA的抽取式摘要模型，通过句子分类任务训练，以识别重要句子。
• 将提取的摘要与论文的引言和结论拼接，形成生成式模型的条件输入。
• 使用BART的生成式模型，基于组合输入（提取摘要 + 引言 + 结论）生成自然语言摘要。
• 测试多种条件配置，包括仅基于抽取式摘要、引言或引言与结论的条件输入。
• 使用GPT-2进行生成式摘要，条件输入为抽取式摘要，但输入长度限制导致无法实现完整条件输入。
• 模型通过交叉熵损失进行端到端微调，性能在arXiv数据集上使用ROUGE指标进行评估。

实验结果

研究问题

• RQ1 将抽取式与生成式模型结合是否能提升长篇科学文本的摘要质量？
• RQ2 哪种条件输入（抽取式摘要、引言、结论或其组合）能获得最佳的生成式摘要性能？
• RQ3 在该混合设置中，使用预训练模型（BERT、BART）与从零训练相比，表现如何？
• RQ4 通过条件输入的生成式摘要能否产生超过抽取式最优基线的ROUGE分数？
• RQ5 对抽取式摘要进行改写是否因与真实标签对齐性丧失而导致性能下降？

主要发现

• 表现最佳的模型采用BERT进行抽取，BART进行生成，并基于抽取式摘要、引言和结论进行条件输入，达到ROUGE-1: 45.3，ROUGE-2: 25.1，ROUGE-L: 36.2。
• 从条件输入中移除抽取式摘要导致ROUGE分数显著下降，证实其在引导生成式摘要中的关键作用。
• 基于抽取式摘要与引言、结论的组合条件输入，优于所有其他配置，包括仅使用引言或结论的情况。
• 该模型的ROUGE-L分数（36.2）超过抽取式最优基线（36.0），表明生成式摘要可产生比纯抽取式方法更简洁、更相关的结果。
• 对抽取式摘要进行改写作为条件输入，导致性能严重下降（ROUGE-1: 17.9，ROUGE-2: 3.5），可能因与真实标签对齐性丧失所致。
• 基于抽取式摘要 + 引言 + 结论的BART模型在arXiv数据集上所有ROUGE指标上均优于先前的SOTA方法。