[论文解读] A Semantic Relevance Based Neural Network for Text Summarization and Text Simplification

Shuming Ma, Xu Sun|arXiv (Cornell University)|Oct 6, 2017

Topic Modeling参考文献 27被引用 19

一句话总结

本文提出了一种基于语义相关性（SRB）的神经网络，用于文本摘要和简化，以提升源文本与生成文本之间的语义相关性。通过在训练过程中引入相似性损失，以最大化源文本与生成输出之间的语义相似度，并采用自门控注意力编码器来捕捉长文本表示，该模型在LCSTS和EW-SEW基准测试中优于当前最先进系统。

ABSTRACT

Text summarization and text simplification are two major ways to simplify the text for poor readers, including children, non-native speakers, and the functionally illiterate. Text summarization is to produce a brief summary of the main ideas of the text, while text simplification aims to reduce the linguistic complexity of the text and retain the original meaning. Recently, most approaches for text summarization and text simplification are based on the sequence-to-sequence model, which achieves much success in many text generation tasks. However, although the generated simplified texts are similar to source texts literally, they have low semantic relevance. In this work, our goal is to improve semantic relevance between source texts and simplified texts for text summarization and text simplification. We introduce a Semantic Relevance Based neural model to encourage high semantic similarity between texts and summaries. In our model, the source text is represented by a gated attention encoder, while the summary representation is produced by a decoder. Besides, the similarity score between the representations is maximized during training. Our experiments show that the proposed model outperforms the state-of-the-art systems on two benchmark corpus.

研究动机与目标

• 提升源文本与生成摘要/简化文本之间的语义相关性，这在现有序列到序列模型中往往较低。
• 解决当前模型生成语法正确但语义偏离输出的问题。
• 构建一个统一框架，同时实现文本摘要与文本简化，并提升语义保真度。
• 通过自门控注意力编码器增强长文本表示，以更好地捕捉冗余或冗长的源文本内容。
• 在训练过程中通过专用的相似性评估组件，最大化源文本与生成文本之间的语义相似度。

提出的方法

• 使用门控注意力编码器，通过门控机制学习动态注意力权重，以更好地表示长且冗余的源文本。
• 采用序列到序列解码器，从编码后的源文本表示中生成简化摘要或简化句子。
• 引入相似性评估组件，计算源文本表示与生成文本表示之间的语义相似度。
• 通过端到端优化，在训练过程中最大化语义相似度得分，从而促使模型生成与源文本含义高度一致的输出。
• 利用预训练的上下文表示（由注意力机制和序列到序列结构隐含支持），以提升语义理解能力。
• 通过共享架构组件，将模型应用于抽取式摘要和句子级简化任务。

实验结果

研究问题

• RQ1 基于相似性的训练目标是否能提升摘要与简化任务中源文本与生成文本之间的语义相关性？
• RQ2 自门控注意力编码器在捕捉源文本中的长距离依赖关系和冗余内容方面效果如何？
• RQ3 通过共享语义相关性目标联合训练摘要与简化任务，是否能获得优于专用模型的性能？
• RQ4 与标准序列到序列模型相比，所提模型在多大程度上减少了语义偏离？
• RQ5 在LCSTS、PWKP和EW-SEW等基准数据集上，该模型在语义保真度和流畅性方面表现如何？

主要发现

• SRB模型在LCSTS和EW-SEW基准数据集上优于当前最先进系统，显示出更高的语义相关性。
• 模型生成的摘要和简化文本语义更准确，表现为与源文本的语义偏离程度更低。
• 基于相似性的训练目标有效减少了生成事实性错误或语义无关内容的情况。
• 自门控注意力编码器提升了对长而复杂源文本的表示能力，从而贡献于整体性能提升。
• 与基线序列到序列模型相比，该模型在源文本与生成文本之间实现了更高的语义相似度得分。
• 该方法在摘要与简化任务中均表现出一致的性能增益，表明其在各类文本生成任务中具有广泛适用性。