[论文解读] Abstractive Summarization with Combination of Pre-trained Sequence-to-Sequence and Saliency Models

Itsumi Saito, Kyosuke Nishida+2 more|arXiv (Cornell University)|Mar 29, 2020

Topic Modeling参考文献 23被引用 30

一句话总结

论文研究了九种组合的预训练序列到序列模型与 token/句子级显著性模型，引入了一个新的 CIT 模型，将重要标记作为输入输入，并在 CNN/DM 和 XSum 数据集上展现出改进，特别是在 CNN/DM 上超过了微调基线。

ABSTRACT

Pre-trained sequence-to-sequence (seq-to-seq) models have significantly improved the accuracy of several language generation tasks, including abstractive summarization. Although the fluency of abstractive summarization has been greatly improved by fine-tuning these models, it is not clear whether they can also identify the important parts of the source text to be included in the summary. In this study, we investigated the effectiveness of combining saliency models that identify the important parts of the source text with the pre-trained seq-to-seq models through extensive experiments. We also proposed a new combination model consisting of a saliency model that extracts a token sequence from a source text and a seq-to-seq model that takes the sequence as an additional input text. Experimental results showed that most of the combination models outperformed a simple fine-tuned seq-to-seq model on both the CNN/DM and XSum datasets even if the seq-to-seq model is pre-trained on large-scale corpora. Moreover, for the CNN/DM dataset, the proposed combination model exceeded the previous best-performed model by 1.33 points on ROUGE-L.

研究动机与目标

• 评估显著性模型是否能够补充预训练的序列到序列模型以进行摘要生成。
• 在标准数据集上评估九种显著性与预训练模型的组合。
• 提出一种新的 CIT 模型，明确将重要标记作为输入提供给摘要模型。

提出的方法

• 使用基于 Transformer 的编码器-解码器，在大量未标注数据上预训练（例如 BART LARGE）作为 seq-to-seq 主体。
• 开发两种显著性模型类型：一个与 seq-to-seq 模型共同训练的共享编码器，以及一个选择重要标记/句子的提取器。
• 使用源文本与参考摘要之间对齐得到的伪参考标签来训练显著性模型；对显著性使用二元交叉熵损失。
• 定义多种组合架构：多任务（MT）、选择性编码（SE）、选择性注意（SA），以及它们与提取器的组合（SEG、CIT、CIT+SE、CIT+SA）。
• 提出 CIT：将前 K 个显著性标记中的前 C 作为额外输入，与源文本一起输入给 seq-to-seq 模型。

实验结果

研究问题

• RQ1 当与预训练的 seq-to-seq 模型结合时，显著性模型是否在抽取式与 abstractive 数据集上提升摘要质量？
• RQ2 哪种显著性策略组合（共享编码器 vs 提取器）在 CNN/DM 和 XSum 上获得最佳 ROUGE 分数？
• RQ3 提出的 CIT 模型在不额外预训练数据的情况下，是否优于其他微调和组合模型？
• RQ4 伪显著性标签的质量如何影响 CNN/DM 与 XSum 的表现？

主要发现

• 所有组合模型在 CNN/DM 上都超过了简单微调的 BART，其中 CIT 与 CIT+SE 获得最高的 ROUGE 分数。
• 在 CNN/DM 上，CIT 获得 R1=45.74, R2=22.50, RL=42.44，超过了微调基线。
• 在 CNN/DM 上，CIT+SE 获得 R1=45.80, R2=22.53, RL=42.48，是CNN/DM报道方法中的最佳。
• 在 XSum 上，CIT 在“Top-K tokens”提取器配置下表现最佳，R1=46.72, R2=20.53, RL=37.73；总体改进低于 CNN/DM。
• CIT 在不需要额外预训练数据的情况下优于其他组合模型，表明显著性引导的输入可以提升预训练序列到序列摘要，尤其是对于 extractive 数据集。
• 与状态-of-the-art 预训练模型相比，CIT 在 CNN/DM 上超过了许多，但 PEGASUS HugeNews 在 XSum 上取得顶分，凸显数据集相关收益。