[论文解读] End-to-End Segmentation-based News Summarization

Yang Liu, Chenguang Zhu+1 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling被引用 6

一句话总结

本文提出了一种基于分割的新闻摘要生成新任务，该任务将新闻文章划分为主题性章节，并为每个章节生成简洁的标题式摘要。作者提出SegUniLM，一种采用分割感知注意力机制的端到端联合模型，以同时提升分割与摘要性能。该模型在包含27,000篇标注文章的新数据集SegNews上显著优于强基线模型。

ABSTRACT

In this paper, we bring a new way of digesting news content by introducing the task of segmenting a news article into multiple sections and generating the corresponding summary to each section. We make two contributions towards this new task. First, we create and make available a dataset, SegNews, consisting of 27k news articles with sections and aligned heading-style section summaries. Second, we propose a novel segmentation-based language generation model adapted from pre-trained language models that can jointly segment a document and produce the summary for each section. Experimental results on SegNews demonstrate that our model can outperform several state-of-the-art sequence-to-sequence generation models for this new task.

研究动机与目标

• 为解决传统单摘要新闻摘要方法在支持长文章导航与细节探索方面的局限性。
• 提出一项新任务——基于分割的新闻摘要，将文章划分为主题性章节，并为每个章节生成针对性摘要。
• 构建并发布SegNews，一个大规模基准数据集，包含27,000篇标注了章节边界及对应标题式摘要的新闻文章。
• 设计一种联合学习框架，同时完成新闻文章的分割与章节特定摘要生成，通过共享表征提升两项任务性能。

提出的方法

• 所提出的SegUniLM模型是对预训练语言模型（如BART、GPT、UniLM）的非侵入式改进，集成了分割感知注意力机制。
• 分割感知注意力机制使解码器在生成摘要时能够关注章节边界，增强上下文感知能力。
• 该模型联合优化两个目标：文档分割（识别段落级章节边界）与抽象式摘要生成（生成标题式摘要）。
• 该框架在两项任务中共享编码器，实现分割与摘要之间的知识迁移。
• 模型采用多任务损失进行训练，结合交叉熵损失用于摘要生成，以及一种分割感知对比损失以提升边界检测性能。
• 该架构兼容多种预训练模型，支持灵活集成并实现高性能。

实验结果

研究问题

• RQ1 与流水线或孤立方法相比，分割与摘要的联合学习是否能提升两项任务的性能？
• RQ2 分割感知注意力机制在提升摘要质量与分割准确率方面效果如何？
• RQ3 所提出的SegUniLM模型在新发布的SegNews基准上相较于强基线模型表现如何？
• RQ4 联合训练框架是否能降低认知负荷并提升长篇新闻文章的可导航性？

主要发现

• SegUniLM在自动评估与人工评估指标上均优于流水线基线与强序列到序列模型。
• 人工评估显示，SegUniLM的摘要质量均分得分为2.17，显著高于流水线UniLM的1.93，表明摘要的相关性与连贯性得到提升。
• 消融研究证实，使用9个分割感知注意力头可获得最优的ROUGE分数，当该数量增加或减少时性能均下降。
• 移除分割损失或分割层会导致ROUGE分数急剧下降，证明了联合训练的优势。
• SegUniLM在分割任务上实现了最低的词位移（WD）与成对F1（PK）分数，表明其章节边界检测能力更优。
• 该模型展现出强大的泛化能力，可无需架构修改地适配多种预训练模型，如BART、GPT与UniLM。