[论文解读] Attention based Sentence Extraction from Scientific Articles using Pseudo-Labeled data

Parth Mehta, Gaurav Arora+1 more|arXiv (Cornell University)|Feb 13, 2018

Advanced Text Analysis Techniques参考文献 12被引用 6

一句话总结

该论文提出了一种弱监督的、基于注意力机制的深度学习模型，用于科学论文的抽取式摘要生成，利用ACL文集中的伪标签数据进行训练。通过联合学习句子重要性与提示短语检测，结合主题模型增强的上下文嵌入的LSTM编码器，该模型在ROUGE指标上达到最先进水平——在ROUGE-2、ROUGE-3和ROUGE-4上均优于先前方法，同时保持了文档结构，并生成了连贯的摘要，无需人工标注。

ABSTRACT

In this work, we present a weakly supervised sentence extraction technique for identifying important sentences in scientific papers that are worthy of inclusion in the abstract. We propose a new attention based deep learning architecture that jointly learns to identify important content, as well as the cue phrases that are indicative of summary worthy sentences. We propose a new context embedding technique for determining the focus of a given paper using topic models and use it jointly with an LSTM based sequence encoder to learn attention weights across the sentence words. We use a collection of articles publicly available through ACL anthology for our experiments. Our system achieves a performance that is better, in terms of several ROUGE metrics, as compared to several state of art extractive techniques. It also generates more coherent summaries and preserves the overall structure of the document.

研究动机与目标

• 开发一种无需人工标注的弱监督句子抽取方法，用于科学论文摘要。
• 联合学习信息性内容表征与提示短语检测，以识别适合生成摘要的句子。
• 利用公开的、来自ACL文集的伪标签数据，提升科学论文抽取式摘要的性能。
• 在生成的摘要中保持原始文档的结构连贯性，模仿人类摘要的写作模式。
• 证明结合主题建模的上下文感知注意力机制可在无需语言学资源的情况下提升摘要质量。

提出的方法

• 基于双向LSTM的句子编码器处理词嵌入，生成固定大小的句子表征。
• 使用潜在狄利克雷分配（LDA）模型提取文档级主题，形成捕捉论文整体主题的上下文嵌入。
• 注意力机制将句子级嵌入与上下文嵌入融合，为词语分配动态权重，突出内容信息与提示短语。
• 将注意力输出与上下文嵌入输入二分类器，预测句子是否为摘要相关句。
• 从ACL文集中的黄金标准摘要生成伪标签数据，实现在无需人工标注情况下的弱监督训练。
• 使用交叉熵损失端到端训练模型，同时对ACL语料库上预训练的word2vec模型进行微调以获得词嵌入。

实验结果

研究问题

• RQ1 基于注意力的模型能否在科学论文中联合学习信息性内容与提示短语检测以实现句子抽取？
• RQ2 将主题模型生成的上下文嵌入引入是否能提升抽取式摘要模型的性能？
• RQ3 利用黄金摘要生成的伪标签数据的弱监督方法能否在科学文本上超越现有抽取式方法？
• RQ4 该模型在生成摘要时，对原始文档结构连贯性的保持程度如何？
• RQ5 ROUGE-2、ROUGE-3和ROUGE-4得分与人类对科学摘要在结构与语义质量方面的判断之间是否存在相关性？

主要发现

• 所提模型在ROUGE-2、ROUGE-3和ROUGE-4指标上全面超越所有基线与最先进方法，相较于次优方法在ROUGE-2上实现3.9%的绝对提升。
• 模型在ROUGE-2上取得0.360的得分，超过Submodular（0.360）、ILP（0.350）和Neural（0.344）基线，且在α=0.05水平下具有统计显著性差异。
• ROUGE-3与ROUGE-4得分显著高于基线，表明模型更好地保留了结构与短语提示（如“in this paper we propose”）信息。
• 模型能有效识别“in this paper we propose”和“results show”等提示短语，这些是摘要内容的重要指示信号。
• 生成的摘要保持了原始文档的逻辑流程，先呈现所提工作，再描述实验细节与系统对比，体现出良好的结构连贯性。
• 模型在ROUGE-1上表现与最佳基线（Submodular）相当，表明其具有强大的词汇覆盖能力，但在捕捉短语级与结构信息方面表现更优。