[论文解读] Don't Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization

Shashi Narayan, Shay B. Cohen+1 more|arXiv (Cornell University)|Aug 27, 2018

Topic Modeling参考文献 25被引用 35

一句话总结

本文提出极端摘要（extreme summarization），这是一种新的单文档摘要任务，要求生成仅用一句话的生成式摘要来回答‘这篇文章讲的是什么？’。该文提出一种完全基于卷积神经网络（CNNs）的、具有话题感知能力的序列到序列模型（T-ConvS2S），在自动评估（ROUGE）和人工评估中均优于抽取式和基于RNN的生成式模型，展现出更强的长距离依赖捕捉能力以及通过抽象与融合保留关键信息的能力。

ABSTRACT

We introduce extreme summarization, a new single-document summarization task which does not favor extractive strategies and calls for an abstractive modeling approach. The idea is to create a short, one-sentence news summary answering the question "What is the article about?". We collect a real-world, large-scale dataset for this task by harvesting online articles from the British Broadcasting Corporation (BBC). We propose a novel abstractive model which is conditioned on the article's topics and based entirely on convolutional neural networks. We demonstrate experimentally that this architecture captures long-range dependencies in a document and recognizes pertinent content, outperforming an oracle extractive system and state-of-the-art abstractive approaches when evaluated automatically and by humans.

研究动机与目标

• 将极端摘要定义并形式化为一种新的单文档摘要任务，该任务抗拒抽取式方法，要求具备生成式推理能力。
• 从BBC新闻文章中收集大规模、真实世界的数据集，其中首句常可作为单句摘要。
• 开发一种完全基于卷积神经网络（CNNs）的新颖生成式模型，通过文档主题进行条件控制，以更好地捕捉长距离依赖关系和文档级抽象。
• 证明话题感知的、基于CNN的模型在摘要质量上显著优于抽取式模型和最先进的基于RNN的生成式模型。

提出的方法

• 所提出的模型T-ConvS2S使用卷积编码器，将每个词与一个主题向量关联，以捕捉其是否代表文档内容。
• 卷积解码器在全局文档主题向量的条件下生成摘要中的每个词，实现上下文感知的生成式摘要生成。
• 该模型完全依赖卷积层，避免使用循环网络，以更好地捕捉文档中的长距离依赖关系。
• 主题向量在训练过程中端到端学习，并用于指导编码和解码过程，从而提升相关性和抽象能力。
• 该架构在XSum数据集上使用序列到序列学习方法进行端到端训练，采用交叉熵损失函数。
• 通过自动指标（ROUGE）和两项人工评估（摘要偏好排名与关键信息保留的问答任务，QA）对模型进行评估。

实验结果

研究问题

• RQ1 纯粹的卷积神经网络架构是否能有效建模极端摘要中的长距离依赖关系和文档级抽象？
• RQ2 在摘要必须回答‘这篇文章讲的是什么？’的极端摘要任务中，生成式方法是否显著优于抽取式方法？
• RQ3 将模型基于文档主题进行条件控制，是否能提升生成摘要的质量和信息量，相比标准序列到序列模型？
• RQ4 人类评估者在多大程度上更偏好由所提出的主题感知模型生成的摘要，而非抽取式或基于RNN的生成式系统？
• RQ5 通过问答性能衡量，模型生成的摘要在多大程度上保留了源文档中的关键事实信息？

主要发现

• T-ConvS2S模型在XSum测试集上取得了46.05%的ROUGE-L分数，显著高于抽取式最优模型（15.70%）和其他生成式模型。
• 在人工偏好评估中，T-ConvS2S排名第二，显著优于ConvS2S和PtGen，仅落后于人工撰写的摘要。
• 问答评估显示，T-ConvS2S生成的摘要使参与者正确回答46.05%的事实类问题，而ConvS2S为30.90%，PtGen为21.40%。
• 抽取式最优模型在人工评估中表现较差（问答准确率为15.70%），表明ROUGE优化的抽取式摘要往往无法保留关键信息。
• T-ConvS2S在融合和改写文档中分散信息方面表现出色，证据是其在需要推理或综合的问题上准确率更高。
• 在两项人工评估中，T-ConvS2S的表现均具有统计显著性，显著优于ConvS2S和PtGen（p < 0.01），证实了其鲁棒性与有效性。