[论文解读] Learning Semantic Sentence Embeddings using Pair-wise Discriminator.

Badri N. Patro, Vinod K Kurmi+2 more|arXiv (Cornell University)|Jun 3, 2018

Topic Modeling参考文献 37被引用 11

一句话总结

本文提出了一种新颖的方法，通过使用与序列编码器-解码器模型共享权重的成对判别器来学习语义句子嵌入。通过训练判别器以区分语义相似（真实释义）和不相似的句子对，该模型能够生成密集且语义有意义的句子嵌入，在释义生成和情感分析任务上显著优于当前最先进方法。

ABSTRACT

In this paper, we propose a method for obtaining sentence-level embeddings. While the problem of securing word-level embeddings is very well studied, we propose a novel method for obtaining sentence-level embeddings. This is obtained by a simple method in the context of solving the paraphrase generation task. If we use a sequential encoder-decoder model for generating paraphrase, we would like the generated paraphrase to be semantically close to the original sentence. One way to ensure this is by adding constraints for true paraphrase embeddings to be close and unrelated paraphrase candidate sentence embeddings to be far. This is ensured by using a sequential pair-wise discriminator that shares weights with the encoder that is trained with a suitable loss function. Our loss function penalizes paraphrase sentence embedding distances from being too large. This loss is used in combination with a sequential encoder-decoder network. We also validated our method by evaluating the obtained embeddings for a sentiment analysis task. The proposed method results in semantic embeddings and outperforms the state-of-the-art on the paraphrase generation and sentiment analysis task on standard datasets. These results are also shown to be statistically significant.

研究动机与目标

• 解决与词级嵌入相比，缺乏稳健的句子级语义嵌入学习方法的问题。
• 通过强制原始句子与改写句子之间的语义相似性，提升生成释义的语义质量。
• 开发一种联合优化句子嵌入质量与释义生成的训练框架，使用共享编码器和成对判别器。
• 在下游自然语言处理任务（如情感分析）上验证所提出嵌入的有效性。

提出的方法

• 使用序列编码器-解码器模型生成释义，编码器生成句子级嵌入。
• 成对判别器与编码器共享权重，并被训练以区分真实释义对与负样本（不相似）句子对。
• 判别器使用对比损失函数，惩罚真实释义对之间较大的嵌入距离，从而鼓励语义接近。
• 损失函数确保语义相关句子的嵌入在嵌入空间中更接近，而无关句子对则被推远。
• 整个系统通过端到端训练，编码器-解码器与成对判别器共同优化生成与语义对齐。
• 在标准释义生成与情感分析数据集上评估该方法，以衡量嵌入质量。

实验结果

研究问题

• RQ1 在释义生成设置中，使用对比损失训练的成对判别器是否能提升句子嵌入的语义质量？
• RQ2 所提出的方法在生成语义准确的释义方面与当前最先进方法相比表现如何？
• RQ3 所学习的句子嵌入在下游任务（如情感分析）中的泛化能力如何？
• RQ4 在多个评估基准上，性能提升是否具有统计显著性？

主要发现

• 所提出方法在释义生成任务上达到最先进性能，相比现有方法具有统计显著的提升。
• 所学习的句子嵌入在情感分析任务上泛化良好，在标准基准数据集上优于先前方法。
• 成对判别器通过最小化真实释义对的嵌入距离，有效强制原始句子与改写句子之间的语义相似性。
• 编码器-解码器与判别器的联合训练，产生了更鲁棒且语义意义更明确的句子表示。