[论文解读] Data-driven Summarization of Scientific Articles

Nikola I. Nikolov, Michael Pfeiffer+1 more|arXiv (Cornell University)|Apr 24, 2018

Topic Modeling参考文献 30被引用 31

一句话总结

本文通过利用标题和摘要作为多句摘要，提出将科学论文用作大规模、高质量的数据驱动文本摘要的基准。该研究构建了两个新颖的数据集——title-abstract（500万篇论文）和abstract-body（90万篇论文），并评估了抽取式和生成式神经模型，结果表明科学论文非常适合作为训练长序列摘要模型的资源，在多种模型架构上均表现出色。

ABSTRACT

Data-driven approaches to sequence-to-sequence modelling have been successfully applied to short text summarization of news articles. Such models are typically trained on input-summary pairs consisting of only a single or a few sentences, partially due to limited availability of multi-sentence training data. Here, we propose to use scientific articles as a new milestone for text summarization: large-scale training data come almost for free with two types of high-quality summaries at different levels - the title and the abstract. We generate two novel multi-sentence summarization datasets from scientific articles and test the suitability of a wide range of existing extractive and abstractive neural network-based summarization approaches. Our analysis demonstrates that scientific papers are suitable for data-driven text summarization. Our results could serve as valuable benchmarks for scaling sequence-to-sequence models to very long sequences.

研究动机与目标

• 通过利用科学论文来解决长序列文本摘要任务中大规模、高质量训练数据稀缺的问题。
• 利用标题和摘要作为摘要监督信号，创建两个新颖的大规模科学摘要数据集。
• 评估现有抽取式和生成式神经模型在这些数据集上的表现，以针对完整科学论文正文进行摘要生成。
• 建立基准，用于将序列到序列模型扩展至处理科学文本中的长输入和输出序列。

提出的方法

• 从500万篇生物医学论文构建title-gen数据集，将标题作为摘要的摘要。
• 从90万篇生物医学论文构建abstract-gen数据集，将摘要作为完整论文正文的摘要。
• 采用无监督抽取式基线方法：tfidf-emb，通过TF-IDF加权词嵌入并计算与文档中心的余弦相似度来对句子进行排序。
• 采用rwmd-rank，通过松弛词移动距离（Relaxed Word Mover’s Distance）计算句子相似度，并应用LexRank中心性方法对句子进行排序。
• 应用一系列神经序列到序列模型，包括使用词、子词和字符级别表示的循环与卷积编码器和解码器。
• 在两个数据集上对多种模型架构进行定量与定性评估，以衡量摘要质量和可扩展性。

实验结果

研究问题

• RQ1 科学论文能否作为大规模、高质量训练数据的可行来源，用于数据驱动的文本摘要？
• RQ2 当以摘要作为监督信号，对完整科学论文正文进行训练时，抽取式与生成式神经模型的表现如何？
• RQ3 现有序列到序列模型在多大程度上可被扩展以处理科学文本中的长输入和输出序列？
• RQ4 不同的嵌入与编码策略（词、子词、字符级别）对长科学文本摘要性能有何影响？

主要发现

• abstract-gen数据集的输入序列平均超过1000个词符，输出序列约为200个词符，其挑战远超以往工作（以往通常聚焦于较短输入），具有显著难度。
• tfidf-emb与rwmd-rank抽取式基线方法表现具有竞争力，表明当结合词嵌入时，简单无监督方法在科学文本上同样有效。
• 神经生成式模型，尤其是使用子词或字符级别编码器的模型，在abstract-gen数据集上的表现优于抽取式方法，表明长文本摘要需要生成式建模。
• 本研究证实，科学论文提供了丰富、免费获取的高质量、多句训练样本对，是基准化长序列摘要任务的理想资源。
• 结果表明，最先进的神经模型可有效扩展以摘要完整科学论文，ROUGE分数显著提升，且摘要在质量与连贯性上均有明显改善。