[论文解读] Learning Semantic Sentence Embeddings using Sequential Pair-wise Discriminator

Badri N. Patro, Vinod K Kurmi+2 more|arXiv (Cornell University)|Jun 3, 2018

Topic Modeling参考文献 53被引用 22

一句话总结

本文提出了一种新颖的方法，通过使用共享权重的成对判别器增强的序列编码器-解码器架构，学习语义句子嵌入。该方法通过拉近真实释义对之间的距离并拉远无关句子对之间的距离，强制实现全局语义相似性。该方法在释义生成和情感分析任务上均取得了最先进性能，在标准基准测试中显著优于先前方法。

ABSTRACT

In this paper, we propose a method for obtaining sentence-level embeddings. While the problem of securing word-level embeddings is very well studied, we propose a novel method for obtaining sentence-level embeddings. This is obtained by a simple method in the context of solving the paraphrase generation task. If we use a sequential encoder-decoder model for generating paraphrase, we would like the generated paraphrase to be semantically close to the original sentence. One way to ensure this is by adding constraints for true paraphrase embeddings to be close and unrelated paraphrase candidate sentence embeddings to be far. This is ensured by using a sequential pair-wise discriminator that shares weights with the encoder that is trained with a suitable loss function. Our loss function penalizes paraphrase sentence embedding distances from being too large. This loss is used in combination with a sequential encoder-decoder network. We also validated our method by evaluating the obtained embeddings for a sentiment analysis task. The proposed method results in semantic embeddings and outperforms the state-of-the-art on the paraphrase generation and sentiment analysis task on standard datasets. These results are also shown to be statistically significant.

研究动机与目标

• 开发一种监督方法，用于学习捕捉相关句子之间语义相似性的句子级语义嵌入。
• 通过基于全局损失信号确保生成的释义与原始句子语义接近，从而改进释义生成。
• 在下游自然语言处理任务（如情感分析）上验证所学嵌入的实用性。
• 证明所提出方法在释义生成和情感分类任务上均优于现有最先进方法。

提出的方法

• 模型采用共享权重的LSTM编码器-解码器架构进行序列生成，其中编码器在生成器和判别器之间共享。
• 引入成对判别器以计算句子级嵌入，并施加一种全局损失，使真实释义对之间的距离最小化，而无关句子对之间的距离最大化。
• 损失函数对真实释义嵌入之间距离过大的情况施加惩罚，确保生成输出的语义一致性。
• 模型通过联合训练方式，结合局部（自回归）损失用于序列生成和全局（成对）损失用于语义对齐。
• 在情感分析微调过程中，词嵌入保持冻结，句子表示输入逻辑回归分类器。
• 优化超参数（RMSProp）通过学习率0.00009、批量大小200以及alpha和epsilon的标准值进行调优。

实验结果

研究问题

• RQ1 成对判别器是否能提升序列到序列生成框架中句子嵌入的语义质量？
• RQ2 与仅使用局部生成损失相比，基于语义相似性的全局损失是否能显著提升释义生成性能？
• RQ3 所学的句子嵌入能否有效泛化到下游任务（如情感分析）？
• RQ4 所提出方法在标准基准测试上是否在统计上优于现有最先进方法？

主要发现

• 在情感分析任务上，该方法相较于基线的词袋模型和n-gram模型，错误率绝对降低了15.7%。
• 模型在Rotten Tomatoes测试集上取得了62.606%的准确率，优于先前最先进方法。
• 模型在BLEU、METEOR和TER指标上均表现出色，消融研究证实了成对判别器的有效性。
• 嵌入成功捕捉了细微的情感差异，能够正确区分语义相近但情感倾向不同的短语，例如正确区分负面与正面情感。
• 统计显著性检验确认性能提升并非由随机波动导致。
• 可视化结果表明，模型关注于相关语义短语，表明其在短语层面捕捉语义的鲁棒性。