[论文解读] Multilingual Distributed Representations without Word Alignment

Karl Moritz Hermann, Phil Blunsom|arXiv (Cornell University)|Dec 20, 2013

Topic Modeling参考文献 22被引用 67

一句话总结

本文提出了一种无需词级对齐即可学习多语言分布式句子表征的方法。通过在句子对齐的平行语料上使用组合向量模型（CVM）进行训练，该方法学习到语义有意义的跨语言句子嵌入，在跨语言文档分类任务上超越了先前的最先进方法，即使在没有它们之间直接平行数据的情况下也能捕捉跨语言的语义相似性。

ABSTRACT

Distributed representations of meaning are a natural way to encode covariance relationships between words and phrases in NLP. By overcoming data sparsity problems, as well as providing information about semantic relatedness which is not available in discrete representations, distributed representations have proven useful in many NLP tasks. Recent work has shown how compositional semantic representations can successfully be applied to a number of monolingual applications such as sentiment analysis. At the same time, there has been some initial success in work on learning shared word-level representations across languages. We combine these two approaches by proposing a method for learning distributed representations in a multilingual setup. Our model learns to assign similar embeddings to aligned sentences and dissimilar ones to sentence which are not aligned while not requiring word alignments. We show that our representations are semantically informative and apply them to a cross-lingual document classification task where we outperform the previous state of the art. Further, by employing parallel corpora of multiple language pairs we find that our model learns representations that capture semantic relationships across languages for which no parallel data was used.

研究动机与目标

• 通过学习句子级别的多语言表征，弥合单语组合语义建模与跨语言词级嵌入之间的差距。
• 在不依赖词对齐平行数据的前提下，实现跨语言的语义迁移。
• 评估句子对齐数据是否能产生具有语义信息的、可泛化的跨语言表征，而不仅限于直接训练的语言对。
• 探究使用枢纽语言（例如英语）在无直接平行数据的情况下，实现非平行语言间语义相似性学习的有效性。

提出的方法

• 该模型使用组合向量模型（CVM）将句子映射到d维向量空间，其中句子语义由词嵌入和一个组合函数推导得出。
• 引入一种新颖的训练信号：鼓励平行句子对的嵌入相似，同时将非对齐句子的嵌入相互推开，而无需词对齐。
• 该模型在来自多个语言对（包括英德、英法等）的句子对齐平行语料上进行端到端训练。
• BICVM+变体通过联合训练多个语言对，以英语作为枢纽，实现跨语言的语义知识迁移。
• 使用多类线性分类器（平均感知机）在下游任务中评估所学表征的语义信息量。
• 使用t-SNE可视化定性评估跨语言词语之间的语义相似性，即使在没有它们之间直接平行数据的情况下也成立。

实验结果

研究问题

• RQ1 是否可以无需词级对齐，在多个语言之间有效学习句子级别的分布式表征？
• RQ2 组合向量模型在仅使用句子对齐平行数据的情况下，能在多大程度上传播语义知识至不同语言？
• RQ3 在无直接平行数据的情况下，枢纽语言（如英语）是否能实现两种非平行语言（如法语和德语）之间的语义相似性学习？
• RQ4 在多个语言对上联合训练是否能提升多语言句子嵌入的质量与泛化能力？

主要发现

• BICVM和BICVM+模型在跨语言文档分类（CLDC）任务上优于所有先前工作，达到最先进准确率。
• 在CLDC基准上，BICVM+在仅使用1,000篇英语文档进行训练、并在德语上测试时，达到了80.1%的准确率，超越了之前的最先进水平。
• 模型成功学习到了法语和德语之间词语的语义相似性——尽管这两种语言在训练中并未直接配对，这一结果通过t-SNE可视化得到证实。
• 即使目标语言对（如德语-法语）缺乏直接平行数据，添加其他语言对（如英法）的训练数据也能提升性能。
• 该模型在低资源语言上泛化良好，如德国语尽管直接训练数据有限，仍表现出色。
• 由于无需词对齐，该方法具有可扩展性，适用于文档级或可比语料，而不仅限于句子对齐数据。