[论文解读] A Cascade Approach to Neural Abstractive Summarization with Content Selection and Fusion

Logan Lebanoff, Franck Dernoncourt+3 more|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 31被引用 7

一句话总结

本文提出一种用于神经抽象摘要的级联架构，将内容选择与文本生成解耦，采用两阶段流程：首先通过分类和序列标注选择并突出显示关键句子片段，然后基于这些突出部分生成摘要。该方法在ROUGE得分上达到或优于端到端模型的表现，通过细粒度突出显示和融合机制，提升了内容选择的可控性与连贯性。

ABSTRACT

We present an empirical study in favor of a cascade architecture to neural text summarization. Summarization practices vary widely but few other than news summarization can provide a sufficient amount of training data enough to meet the requirement of end-to-end neural abstractive systems which perform content selection and surface realization jointly to generate abstracts. Such systems also pose a challenge to summarization evaluation, as they force content selection to be evaluated along with text generation, yet evaluation of the latter remains an unsolved problem. In this paper, we present empirical results showing that the performance of a cascaded pipeline that separately identifies important content pieces and stitches them together into a coherent text is comparable to or outranks that of end-to-end systems, whereas a pipeline architecture allows for flexible content selection. We finally discuss how we can take advantage of a cascaded pipeline in neural text summarization and shed light on important directions for future research.

研究动机与目标

• 探究级联流水线是否能够实现与端到端神经抽象模型相当或更优的摘要性能。
• 通过将内容选择与表面实现分离，实现灵活的、领域特定的内容选择。
• 评估细粒度内容突出显示与融合对摘要质量与连贯性的影响。
• 探索指导神经生成器的最优突出策略（阈值法、比例法）。
• 通过将内容选择与生成分离，提供一种更具可解释性与可评估性的抽象摘要框架。

提出的方法

• 该模型采用从粗到精的内容选择策略，首先通过分类头从输入文档中识别一个或两个关键句子。
• 序列标注模型在选定句子内突出显示重要片段，将其视为序列标注问题，使用词形还原后的单个词元并引入平滑处理以增强连贯性。
• 突出部分被用作神经文本生成器的输入，以生成摘要句子；当选择两句话时应用融合机制以确保连贯性。
• 系统采用基于阈值的突出方法（0.15–0.20），根据模型置信度动态选择词语，其性能优于固定比例方法。
• 融合模块对突出片段进行重排与组合，生成语法正确且语义连贯的摘要句子。
• 超参数（包括损失加权系数λ = 0.2）和突出阈值在验证集上进行了调优。

实验结果

研究问题

• RQ1 级联流水线架构是否能够实现与端到端神经抽象模型相当或更优的摘要性能？
• RQ2 显式、细粒度的内容突出显示如何影响生成摘要的质量与连贯性？
• RQ3 在内容选择阶段，确定应突出显示文本量的最优策略是什么？
• RQ4 将内容选择与表面实现分离是否能提升抽象摘要的可解释性与灵活性？
• RQ5 真实标签的句子选择与突出显示在多大程度上能提升模型性能？

主要发现

• 该级联模型，特别是Cascade-Tag（无融合）版本，在ROUGE得分上达到或优于端到端抽象基线模型，包括BERT-Abs。
• 在提供真实标签句子选择的情况下，该级联模型在所有指标上ROUGE得分提升约10分。
• 额外使用真实标签突出显示可使ROUGE得分再提升约20分，表明内容选择准确度具有巨大潜力。
• 基于概率的突出阈值方法（阈值0.15–0.20）优于固定比例方法，平均每个句子突出58–78%的词语。
• 突出率高于训练数据中位数（31%）时性能更优，表明过度突出可能有助于模型泛化。
• 融合模块提升了语法正确性与连贯性，即使对ROUGE得分影响有限，也证明其在句子级连贯性中的关键作用。