[论文解读] Cooperative Generator-Discriminator Networks for Abstractive Summarization with Narrative Flow

Saadia Gabriel, Antoine Bosselut+4 more|arXiv (Cornell University)|Jul 2, 2019

Topic Modeling参考文献 47被引用 12

一句话总结

Co-opNet 是一种基于 Transformer 的摘要生成框架，通过将生成器与篇章级判别器耦合，显式建模叙事流。它引入了科学论文摘要的 SASS 数据集作为代理黄金摘要，并通过学习连贯的长篇摘要，显著提升了全局连贯性。

ABSTRACT

We introduce Cooperative Generator-Discriminator Networks (Co-opNet), a general framework for abstractive summarization with distinct modeling of the narrative flow in the output summary. Most current approaches to abstractive summarization, in contrast, are based on datasets whose target summaries are either a single sentence, or a bag of standalone sentences (e.g., extracted highlights of a story), neither of which allows for learning coherent narrative flow in the output summaries. To promote research toward abstractive summarization with narrative flow, we first introduce a new dataset, Scientific Abstract SummarieS (SASS), where the abstracts are used as proxy gold summaries for scientific articles. We then propose Co-opNet, a novel transformer-based framework where the generator works with the discourse discriminator to compose a long-form summary. Empirical results demonstrate that Co-opNet learns to summarize with considerably improved global coherence compared to competitive baselines.

研究动机与目标

• 为解决在抽象摘要生成中缺乏支持学习连贯叙事流的训练数据的问题。
• 开发一种能够建模长篇、篇章连贯摘要而非孤立句子或要点的框架。
• 引入一个新的数据集 SASS，其中科学论文摘要作为叙事流训练的代理黄金摘要。
• 通过生成器与篇章判别器的协同训练，提升抽象摘要的全局连贯性。
• 推动在单句或抽取式摘要之外的、具有结构化叙事进展的抽象摘要研究。

提出的方法

• 提出 Co-opNet，一种基于 Transformer 的架构，整合了生成器与篇章级判别器，用于抽象摘要生成。
• 使用篇章判别器从篇章层面评估生成摘要的连贯性与逻辑流。
• 以协作方式训练生成器与判别器，以改善输出的叙事结构。
• 利用 SASS 数据集，其中完整科学论文摘要被用作黄金摘要，以训练叙事连贯性。
• 设计训练目标，以同时优化流畅性与篇章级连贯性，而不仅限于抽取式或句子级准确率。
• 采用双流训练策略，其中生成器生成摘要，判别器评估其叙事流。

实验结果

研究问题

• RQ1 协作式生成器-判别器框架是否能有效学习生成具有连贯叙事流的长篇摘要？
• RQ2 将论文摘要用作代理黄金摘要，对抽象摘要中叙事连贯性的质量有何影响？
• RQ3 与标准序列级或抽取式基线相比，篇章级判别器在提升全局连贯性方面有多大的改进？
• RQ4 所提出的框架是否能泛化到科学论文之外的长篇摘要任务？
• RQ5 叙事结构建模对抽象摘要整体质量的贡献有多大？

主要发现

• 与竞争性基线相比，Co-opNet 在生成摘要的全局连贯性方面实现了显著提升。
• 使用 SASS 数据集（其中摘要作为代理黄金摘要）可有效支持叙事流的训练。
• 篇章判别器成功引导生成器产出更具连贯性和逻辑结构的长篇摘要。
• 实证结果表明，Co-opNet 在捕捉叙事进展与逻辑流方面优于现有方法。
• 生成器与判别器的协同训练使摘要更加流畅且上下文一致。
• 该框架表明，显式建模叙事流可产生超越句子级流畅性的更高品质抽象摘要。