[论文解读] Abstractive Summarization Using Attentive Neural Techniques

Jacob Krantz, Jugal Kalita|arXiv (Cornell University)|Oct 20, 2018

Topic Modeling参考文献 20被引用 11

一句话总结

本文提出一种基于Transformer的抽取式摘要模型，采用相对点积自注意力机制，以在不使用循环或卷积结构的情况下提升句子级摘要质量。该模型在ROUGE-L和ROUGE-2指标上达到最先进水平，优于先前方法，并表明自动评估指标如ROUGE在抽取式摘要中存在不足，由此提出一种新的抽取式评估方法（VERT）。

ABSTRACT

In a world of proliferating data, the ability to rapidly summarize text is growing in importance. Automatic summarization of text can be thought of as a sequence to sequence problem. Another area of natural language processing that solves a sequence to sequence problem is machine translation, which is rapidly evolving due to the development of attention-based encoder-decoder networks. This work applies these modern techniques to abstractive summarization. We perform analysis on various attention mechanisms for summarization with the goal of developing an approach and architecture aimed at improving the state of the art. In particular, we modify and optimize a translation model with self-attention for generating abstractive sentence summaries. The effectiveness of this base model along with attention variants is compared and analyzed in the context of standardized evaluation sets and test metrics. However, we show that these metrics are limited in their ability to effectively score abstractive summaries, and propose a new approach based on the intuition that an abstractive model requires an abstractive evaluation.

研究动机与目标

• 通过将机器翻译中的现代注意力机制适配到序列到序列的文本生成任务中，改进抽取式句子摘要。
• 评估不同自注意力变体（如相对点积、局部、扩张和掩码注意力）在抽取式摘要中的有效性。
• 证明标准ROUGE指标因聚焦n-gram而不足以准确评估抽取式摘要，提出一种替代的抽取式评估方法（VERT）。
• 训练一种完全基于注意力的模型，不使用循环或卷积结构，从而降低训练成本，同时保持高质量的抽取式输出。
• 通过定性和人工评估指标分析生成摘要的语言质量和连贯性。

提出的方法

• 在编码器-解码器框架中采用多头自注意力机制，替代原有的循环和卷积结构，适配Transformer架构。
• 采用相对点积自注意力机制，以建模长距离依赖关系，并改善输入和输出序列之间的上下文保留能力。
• 施加固定长度摘要约束，使模型在训练中优先关注关键信息并实现改写。
• 应用批量归一化和残差连接以稳定训练过程，批量大小为8192个token（内存密集型变体则更小）。
• 引入覆盖向量，限制对已注意过词语的重复注意力，从而减少生成摘要中的冗余。
• 提出VERT（抽取式评估指标），基于语义相似度和结构连贯性，与基于n-gram的ROUGE形成对比。

实验结果

研究问题

• RQ1 不同自注意力机制（如相对点积、局部、扩张、掩码注意力）在抽取式句子摘要任务中的性能表现如何？
• RQ2 无循环、纯注意力机制的模型（不使用LSTM或卷积）是否能超越现有最先进抽取式摘要模型？
• RQ3 标准ROUGE指标在多大程度上能准确反映抽取式摘要的质量，特别是在语义连贯性和改写能力方面？
• RQ4 模型在长距离依赖建模方面的能力如何影响摘要的质量和信息量？
• RQ5 抽取式评估指标（VERT）是否比基于n-gram的指标（如ROUGE）更能准确捕捉抽取式摘要的质量？

主要发现

• 相对点积自注意力模型（S-ATT-REL）在所有测试模型中取得了最高的ROUGE-L和ROUGE-2得分，优于基线模型和大多数先前工作。
• S-ATT-REL在ROUGE-L和ROUGE-2上优于ABS模型，尽管在DUC2003数据集上其ROUGE-1得分略低于经过抽取式调优的ABS+模型。
• 该模型生成的摘要具有较高的语言质量：语法正确性（4.48）、无冗余性（4.95）、指代清晰度（4.7）和结构/连贯性（4.53），所有评分均达到“良好”至“非常好”水平。
• 该模型展现出强大的抽取能力，例如能正确识别哈里里为黎巴嫩总理，并从“bowing out”中推断出辞职行为，即使原文未明确说明。
• 注意力头偶尔出现误聚焦，例如在示例S3中错误地关注了‘not’，表明注意力机制在精度上仍存在局限。
• VERT指标在S-ATT-REL模型上的得分高于ROUGE，尤其在语义相似度子指标上表现更优，表明抽取式评估更适合于抽取式摘要。