[论文解读] Guided Neural Language Generation for Abstractive Summarization using Abstract Meaning Representation

Hardy, Andreas Vlachos|arXiv (Cornell University)|Aug 28, 2018

Topic Modeling参考文献 14被引用 14

一句话总结

本文提出了一种用于抽象摘要的引导式神经语言生成方法，通过利用源文档信息来提升流畅性和事实一致性，从而改进基于AMR的摘要生成。通过使用概率语言模型引导seq2seq解码，该方法在使用现成AMR解析的情况下，将ROUGE-2得分提升了10.5分，并比一个强大的基线seq2seq模型高出2个ROUGE-2分数点。

ABSTRACT

Recent work on abstractive summarization has made progress with neural encoder-decoder architectures. However, such models are often challenged due to their lack of explicit semantic modeling of the source document and its summary. In this paper, we extend previous work on abstractive summarization using Abstract Meaning Representation (AMR) with a neural language generation stage which we guide using the source document. We demonstrate that this guidance improves summarization results by 7.4 and 10.5 points in ROUGE-2 using gold standard AMR parses and parses obtained from an off-the-shelf parser respectively. We also find that the summarization performance using the latter is 2 ROUGE-2 points higher than that of a well-established neural encoder-decoder approach trained on a larger dataset. Code is available at \url{https://github.com/sheffieldnlp/AMR2Text-summ}

研究动机与目标

• 为解决神经抽象摘要模型中缺乏显式语义建模的问题，特别是处理时态、数和语法特征的问题。
• 通过引入源文档中缺失于AMR表示的附加信息，改进从AMR图生成神经语言的方法。
• 减少对训练数据规律性的依赖以推断语言特征，这通常会导致语法错误和不自然的表达。
• 与无引导的AMR到文本模型及标准seq2seq基线相比，实现更高的ROUGE得分和更好的生成摘要流畅度。
• 证明即使使用自动解析的AMR输入，也能在引导源文档上下文的情况下超越金标准AMR解析。

提出的方法

• 该方法采用两阶段流程：首先使用概率语言模型从源文档中估计附加信息（如时态、数）的概率分布。
• 其次，在解码过程中通过奖励与生成输出匹配的源文档n-gram来引导Luong等人（2015）的基于注意力的seq2seq模型。
• 评分机制计算源文档n-gram与候选词之间的相似度，并据此调整解码器的注意力和输出概率。
• 使用Van Noord和Bos（2017）的预处理方法对AMR图进行线性化，seq2seq模型在金标准和自动解析的AMR摘要上进行训练。
• 在AMR数据集的Proxy Report部分（LDC2017T10）上评估该方法，使用ROUGE和人工流畅度评估。
• 使用预训练的OpenNMT-py模型作为直接从源文本摘要的强基线。

实验结果

研究问题

• RQ1 能否通过利用源文档信息引导AMR到文本的生成，来提升抽象摘要的流畅性和事实一致性？
• RQ2 使用源文档中的附加信息是否能减少对数据驱动规律性依赖以推断NLG中的语法特征？
• RQ3 简单的概率语言模型能否引导seq2seq解码，使其优于无引导的AMR到文本生成？
• RQ4 为何自动解析的AMR输入有时会比金标准AMR解析产生更好的摘要结果？
• RQ5 与强神经seq2seq基线相比，该引导方法在多大程度上提升了ROUGE得分？

主要发现

• 当使用金标准AMR解析时，引导模型将ROUGE-2得分提高了7.4分；当使用RIGA解析的AMR输入时，提升达10.5分。
• 使用RIGA解析的引导模型达到21.2的ROUGE-2得分，比强基线OpenNMT-py seq2seq模型高出2分。
• 引导模型的流畅度从2.16提升至2.66（6分制），表明语法正确性和自然度得到改善。
• 尽管有所改进，但人工评估显示生成摘要仍存在语法错误和重复冗余问题。
• 出人意料的是，在引导设置下，RIGA解析的AMR输入表现优于金标准解析，可能由于人工AMR标注中存在注释不一致。
• 该模型通过检索并整合精确的源级术语，纠正了重大错误（如将“a softening”替换为“airstrikes”）。