[论文解读] A Simple Model for Learning Multilingual Compositional Semantics

Karl Moritz Hermann, Phil Blunsom|arXiv (Cornell University)|Dec 20, 2013

Sentiment Analysis and Opinion Mining被引用 6

一句话总结

本文提出了一种多语言组合语义模型，通过在平行语料上进行训练，无需词对齐即可学习分布式句子嵌入，将跨语言语义相似的句子映射到相似的向量表示。该方法在跨语言文档分类任务中达到最先进性能，并能泛化到零样本语言对的语义关系。

ABSTRACT

Distributed representations of meaning are a natural way to encode covariance relationships between words and phrases in NLP. By overcoming data sparsity problems, as well as providing information about semantic relatedness which is not available in discrete representations, distributed representations have proven useful in many NLP tasks. Recent work has shown how compositional semantic representations can successfully be applied to a number of monolingual applications such as sentiment analysis. At the same time, there has been some initial success in work on learning shared word-level representations across languages. We combine these two approaches by proposing a method for learning distributed representations in a multilingual setup. Our model learns to assign similar embeddings to aligned sentences and dissimilar ones to sentence which are not aligned while not requiring word alignments. We show that our representations are semantically informative and apply them to a cross-lingual document classification task where we outperform the previous state of the art. Further, by employing parallel corpora of multiple language pairs we find that our model learns representations that capture semantic relationships across languages for which no parallel data was used.

研究动机与目标

• 解决在不依赖词级对齐的情况下学习多语言组合语义的挑战。
• 通过在多个语言对之间学习共享的分布式表示，提升跨语言迁移能力。
• 实现在训练平行语料中未出现的语言对上的语义关系零样本迁移。
• 证明在平行数据上训练的分布式句子嵌入能够捕捉有意义的跨语言语义相似性。

提出的方法

• 该模型使用神经网络架构将句子编码为共享多语言嵌入空间中的密集向量表示。
• 其训练目标是最小化跨语言对齐句子对之间的嵌入距离，同时最大化非对齐句子对之间的距离。
• 该训练目标不需要显式的词对齐，而是依赖于平行语料中的句子级平行性。
• 该模型通过在不同语言间共享架构组件，以在嵌入空间中强制实现语义一致性。
• 它采用对比学习目标，以鼓励语义相似的句子（即使跨语言）具有相似的嵌入。
• 最终表示通过一种组合机制获得，该机制将词级嵌入整合为句子级向量。

实验结果

研究问题

• RQ1 在不依赖词级对齐的情况下，能否在多语言设置中有效学习分布式句子表示？
• RQ2 所学习的表示在跨语言任务（如文档分类）中的泛化能力如何？
• RQ3 该模型在训练过程中未见过的语言对中，对语义关系的捕捉程度如何？
• RQ4 与仅使用单一语言对相比，使用多个平行语言对进行训练是否能提升模型性能？

主要发现

• 该模型在跨语言文档分类任务中达到最先进性能，优于先前方法。
• 即使对于某对语言不存在平行数据，所学习的表示仍能捕捉跨语言的语义相似性。
• 在多个语言对上进行训练可提升模型对未见语言组合的泛化能力。
• 该模型成功学习到将语义相似的跨语言句子映射到相似向量表示的能力，而无需显式词对齐。