[论文解读] Improving Semantic Relevance for Sequence-to-Sequence Learning of Chinese Social Media Text Summarization

Shuming Ma, Xu Sun+4 more|arXiv (Cornell University)|Jun 8, 2017

Topic Modeling参考文献 14被引用 5

一句话总结

该论文提出了一种基于语义相关性（SRB）的神经网络模型，通过最大化源文本与摘要表征之间的相似性，以提升中文社交媒体文本摘要的语义相关性。该模型采用门控注意力编码器和带有余弦相似度损失的解码器，在ROUGE得分上优于基线RNN和注意力机制模型，ROUGE-1的F1得分为33.3，ROUGE-L得分为30.1，表明生成的摘要具有更高的语义保真度。

ABSTRACT

Current Chinese social media text summarization models are based on an encoder-decoder framework. Although its generated summaries are similar to source texts literally, they have low semantic relevance. In this work, our goal is to improve semantic relevance between source texts and summaries for Chinese social media summarization. We introduce a Semantic Relevance Based neural model to encourage high semantic similarity between texts and summaries. In our model, the source text is represented by a gated attention encoder, while the summary representation is produced by a decoder. Besides, the similarity score between the representations is maximized during training. Our experiments show that the proposed model outperforms baseline systems on a social media corpus.

研究动机与目标

• 解决短文本、噪声较多的中文社交媒体文本在抽取式摘要生成中的语义相关性低的问题。
• 改进现有序列到序列模型生成的摘要虽语法通顺但语义脱节的问题。
• 通过在训练过程中显式建模语义相似性，增强源内容与生成摘要之间的对齐。
• 证明优化语义相似性可生成比基线模型更准确、更相关的摘要。
• 评估门控注意力编码器在提升短文本、噪声多的社交媒体文本表征能力方面的效果。

提出的方法

• 采用门控注意力编码器，动态加权源文本中词语的重要性，减少噪声并增强关键语义表征。
• 使用单向RNN解码器，基于注意力机制生成的上下文向量逐个生成摘要标记。
• 引入编码器最终隐藏状态与解码器之间的余弦相似度函数，以衡量语义相似性。
• 通过端到端训练，最大化源文本与摘要表征之间的余弦相似度得分。
• 使用交叉熵损失进行生成任务训练，同时引入对比相似度损失，以促进高语义对齐。
• 在中文社交媒体摘要语料库上应用该模型，并使用ROUGE指标评估性能。

实验结果

研究问题

• RQ1 在中文社交媒体文本摘要中，显式优化源文本与生成摘要之间的语义相似性是否能提升摘要质量？
• RQ2 与标准RNN编码器相比，门控注意力编码器在表征短文本、噪声多的社交媒体文本方面有何影响？
• RQ3 基于相似度的训练目标在多大程度上减少了源文本与摘要之间的语义偏离？
• RQ4 与当前最先进的抽取式摘要模型相比，该模型在ROUGE得分和语义相关性方面表现如何？
• RQ5 由于缺乏复制机制，性能是否受限？相似度驱动的训练能否弥补这一缺陷？

主要发现

• SRB模型在ROUGE-1上的F1得分为33.3，ROUGE-2为20.0，ROUGE-L为30.1，优于基线RNN和RNN上下文模型。
• 门控注意力编码器通过过滤噪声和无关词汇，改善了语义表征，从而提升了与摘要内容的对齐效果。
• 定性分析表明，SRB模型生成的摘要语义相关性更高：SRB能捕捉核心思想，而RNN模型生成的摘要虽字面通顺但语义脱节。
• 采用门控注意力的SRB模型（SRB+Attention）表现最佳，证实了增强源文本表征的有效性。
• COPYNET因具备复制机制，取得了更高的ROUGE得分，表明未来将复制机制集成到SRB模型中可进一步提升性能。
• 基于相似度的训练目标成功促使模型生成与源文本语义更接近的摘要，即使未使用显式复制或指针网络。