[论文解读] Query-Based Abstractive Summarization Using Neural Networks

Johan Hasselqvist, Niklas Helmertz+1 more|arXiv (Cornell University)|Dec 17, 2017

Topic Modeling参考文献 25被引用 24

一句话总结

本文提出一种用于基于查询的抽象式摘要生成的神经网络模型，采用指针-生成器架构，生成简洁、重述性的摘要，以匹配给定查询。尽管其ROUGE得分低于通用抽象式模型，但该模型成功地将查询信息融入摘要生成过程，生成的摘要比抽取式基线模型更具针对性，证明了使用序列到序列学习实现查询引导的抽象式摘要的可行性。

ABSTRACT

In this paper, we present a model for generating summaries of text documents with respect to a query. This is known as query-based summarization. We adapt an existing dataset of news article summaries for the task and train a pointer-generator model using this dataset. The generated summaries are evaluated by measuring similarity to reference summaries. Our results show that a neural network summarization model, similar to existing neural network models for abstractive summarization, can be constructed to make use of queries to produce targeted summaries.

研究动机与目标

• 设计一种神经网络模型，专门生成针对用户查询的抽象式摘要，以提升相对于抽取式方法的相关性。
• 通过将参考答案重新用作摘要，将现有的问答数据集（来自Hermann等人）改编为基于查询的摘要数据集。
• 评估模型生成语法正确、与查询相关且对内容进行重述而非逐字提取句子的摘要的能力。
• 分析模型在注意力聚焦、重复行为和实体处理方面的表现，尤其关注其与查询相关性及摘要长度的关系。

提出的方法

• 将原本用于问答任务的CNN/Daily Mail数据集改编为基于查询的摘要数据集，将答案视为参考摘要，查询作为输入提示。
• 采用带有注意力机制的指针-生成网络生成摘要，支持从源文本中复制内容以及生成未登录词（OOV词）。
• 通过受动态记忆网络启发的查询感知注意力机制，将查询信息整合到解码器中，以实现基于查询的摘要生成条件控制。
• 采用编码器-解码器架构的序列到序列学习方法，其中编码器处理文档和查询，解码器逐个生成摘要标记。
• 使用带有长度归一化的束搜索（beam search）以缓解生成过于简短摘要的倾向。
• 实现覆盖机制以减少重复生成标记的行为，借鉴See等人（2017）的方法。

实验结果

研究问题

• RQ1 神经抽象式摘要模型能否有效利用查询生成目标明确、简洁的摘要，实现对内容的重述而非逐句提取？
• RQ2 与抽取式基线和无信息抽象式基线相比，查询感知抽象式模型在ROUGE得分和人工相关性方面的表现如何？
• RQ3 该模型在多大程度上根据查询关注文档的相关部分？是否存在对文档前半部分的偏向？
• RQ4 模型的失败模式（如重复、事实错误或无法重述）与训练数据和模型架构有何关联？

主要发现

• 尽管在ROUGE得分上未超越抽取式基线，该模型生成的摘要仍比基线更具查询相关性，聚焦性更强。
• 平均摘要长度为11.27个词，显著短于数据集平均的14.44个词，表明束搜索存在偏向简洁的倾向。
• 模型频繁重复参考摘要中的短语或整句话，尤其在参考摘要本身较短或在多篇文档中重复出现时更为明显。
• 注意力机制常聚焦于文档开头部分，可能由于早期出现的实体和文档结构所致，但这种聚焦并不总与查询一致。
• 模型有时生成事实性错误的摘要，例如声称‘Netflix的首席执行官是奥巴马’，而原文实际讨论的是政策监管。
• 尽管已采取措施减少重复，模型在解码初期仍表现出重复行为，表明需要更强的覆盖机制。