[论文解读] Entity Commonsense Representation for Neural Abstractive Summarization

Reinald Kim Amplayo, Seonjae Lim+1 more|arXiv (Cornell University)|Jun 14, 2018

Topic Modeling参考文献 26被引用 11

一句话总结

本文提出实体到主题（Entity2Topic，E2T）模块，通过使用选择性消歧和强注意力机制，将链接的实体转化为具有主题感知能力的向量表示，从而增强神经抽象摘要生成。当应用于序列到序列模型时，E2T在Gigaword和CNN数据集上均将ROUGE分数提升至少2分，实现在较长CNN数据集上的最先进性能。

ABSTRACT

A major proportion of a text summary includes important entities found in the original text. These entities build up the topic of the summary. Moreover, they hold commonsense information once they are linked to a knowledge base. Based on these observations, this paper investigates the usage of linked entities to guide the decoder of a neural text summarizer to generate concise and better summaries. To this end, we leverage on an off-the-shelf entity linking system (ELS) to extract linked entities and propose Entity2Topic (E2T), a module easily attachable to a sequence-to-sequence model that transforms a list of entities into a vector representation of the topic of the summary. Current available ELS's are still not sufficiently effective, possibly introducing unresolved ambiguities and irrelevant entities. We resolve the imperfections of the ELS by (a) encoding entities with selective disambiguation, and (b) pooling entity vectors using firm attention. By applying E2T to a simple sequence-to-sequence model with attention mechanism as base model, we see significant improvements of the performance in the Gigaword (sentence to title) and CNN (long document to multi-sentence highlights) summarization datasets by at least 2 ROUGE points.

研究动机与目标

• 通过利用从链接实体中提取的主题表示来引导解码器，以改进抽象文本摘要生成。
• 通过引入选择性消歧机制，解决现有系统中噪声或模糊的实体链接问题。
• 通过使用强注意力机制聚合实体向量，增强摘要中的主题建模，仅聚焦于最相关的实体。
• 开发一个即插即用的模块（E2T），可与任何序列到序列摘要模型兼容。

提出的方法

• 利用现成的实体链接系统（ELS）从输入文本中提取实体，并将其链接到知识库（如维基百科）。
• 应用选择性消歧门控机制，根据上下文判断哪些实体需要消歧，从而减少模糊或错误链接带来的噪声。
• 使用上下文嵌入模型对每个链接实体进行编码，生成稠密向量表示。
• 使用强注意力机制将最相关的k个实体向量聚合为单一的摘要主题向量，突出关键实体。
• 将E2T模块集成到带有注意力机制的序列到序列模型中，在解码过程中向解码器提供主题向量。
• 使用标准序列到序列目标端到端训练整个模型，其中E2T增强解码器对关键主题的关注。

实验结果

研究问题

• RQ1 从文本中提取的链接实体能否有效指示抽象摘要的主要主题？
• RQ2 如何减轻现有实体链接系统中的缺陷（如模糊性和无关性）以提升摘要质量？
• RQ3 使用基于强注意力机制生成的实体主题向量，是否能生成比软注意力或无实体引导更简洁准确的摘要？
• RQ4 像E2T这样的即插即用模块，是否能在不进行架构大规模重构的情况下显著提升标准抽象摘要基准的表现？

主要发现

• 将E2T模块应用于基础的带有注意力机制的序列到序列模型后，Gigaword和CNN数据集上的ROUGE分数均提升至少2分。
• 在CNN数据集上，E2T增强的模型优于所有对比的最先进模型，展现出在长文本抽象摘要任务中的卓越性能。
• 选择性消歧门控机制能有效识别并纠正错误或模糊的实体链接，例如将“United States”与“United States Davis Cup team”区分开来。
• 强注意力机制成功过滤掉低显著性实体（如“Country club”、“UNK”），并聚焦于最相关的实体，从而提升事实一致性和摘要连贯性。
• 案例研究显示，E2T模型通过仅关注最相关的k个实体，避免了幻觉现象（如错误声称瓜达拉哈拉是墨西哥的一个州）。
• 该模型生成的摘要更简洁、主题聚焦，尤其在长文档上表现更优，而基线模型往往容易偏离到无关主题。