[论文解读] Learning Multilingual Word Representations using a Bag-of-Words Autoencoder

Stanislas Lauly, Alex Boulanger+1 more|arXiv (Cornell University)|Jan 8, 2014

Topic Modeling参考文献 12被引用 41

一句话总结

本文提出了一种多语言自编码器，该模型在无需句子间词级对齐的情况下，仅使用句子级平行数据即可学习跨语言的共享词表示。通过从编码的句子表示中重建词袋输入，该模型在跨语言文档分类任务中取得了具有竞争力的性能，某些场景下优于依赖GIZA++生成对齐的方法。

ABSTRACT

Recent work on learning multilingual word representations usually relies on the use of word-level alignements (e.g. infered with the help of GIZA++) between translated sentences, in order to align the word embeddings in different languages. In this workshop paper, we investigate an autoencoder model for learning multilingual word representations that does without such word-level alignements. The autoencoder is trained to reconstruct the bag-of-word representation of given sentence from an encoded representation extracted from its translation. We evaluate our approach on a multilingual document classification task, where labeled data is available only for one language (e.g. English) while classification must be performed in a different language (e.g. French). In our experiments, we observe that our method compares favorably with a previously proposed method that exploits word-level alignments to learn word representations.

研究动机与目标

• 在不依赖平行句子间词级对齐的情况下，学习多语言词表示。
• 探究仅使用句子级平行数据是否能够生成有效的跨语言表示。
• 在训练数据来自一种语言而测试数据来自另一种语言的跨语言文档分类任务上评估该方法。
• 将所提出的基于自编码器的方法与使用词级对齐的最先进方法进行性能比较。
• 评估不同语言中相似词汇在共享嵌入空间中是否被映射到语义相似的向量表示。

提出的方法

• 模型以句子的词袋表示作为输入，忽略词序，每个词在固定词汇表中进行索引。
• 词表示作为矩阵 W 中的列向量进行学习，句子表示通过求和词袋中所有词的嵌入向量生成。
• 训练非线性解码器，通过给定句子表示来预测词的概率分布，以重建原始词袋。
• 为实现大规模词汇表的高效计算，模型采用输出层的概率树分解，通过分层Softmax实现词概率的高效计算。
• 在多语言设置中，自编码器在平行句子对上进行训练，跨语言共享同一词嵌入矩阵，以促进跨语言对齐。
• 使用负对数似然损失进行端到端训练，并基于验证集采用早停策略。

实验结果

研究问题

• RQ1 是否可以在不依赖平行句子间词级对齐的情况下，学习到有意义的多语言词表示？
• RQ2 所提出的基于自编码器的方法与使用词级对齐的方法在多语言表示学习中的性能相比如何？
• RQ3 不同语言中相似词汇在共享嵌入空间中被映射为相似向量表示的程度如何？
• RQ4 所学习的表示是否能有效泛化到训练语言与测试语言不同的跨语言文档分类任务？
• RQ5 解码器中使用分层Softmax是否能实现多语言设置下对词袋输入的高效且有效的重建？

主要发现

• 在英法文档分类任务中，所提出的自编码器方法测试误差为27.7%，优于Klementiev等人提出的基线方法（误差为34.9%）。
• 在英德任务中，所提方法误差为29.8%，而基线方法为42.7%。
• t-SNE可视化结果表明，跨语言中语义相似的词（如“france”与“france”）在共享嵌入空间中被映射到相近的点。
• 对于法语词，其在英语嵌入空间中的最近邻通常是语义相关词或同源词，表明实现了有效的跨语言对齐。
• 尽管未使用词级对齐，该模型仍取得了具有竞争力的性能，表明仅使用句子级平行数据即可支持有效的多语言表示学习。
• 结果表明，自编码器成功学习了共享表示，有效保留了不同语言间的语义和句法相似性。