[论文解读] Learning Bilingual Word Representations by Marginalizing Alignments

Tomáš Kočiský, Karl Moritz Hermann+1 more|arXiv (Cornell University)|May 5, 2014

Topic Modeling参考文献 25被引用 42

一句话总结

本文提出了一种概率模型 DWA（Distributed Word Alignment），通过对外部对齐假设进行边缘化，联合学习双语词表示与对齐关系，避免依赖硬性对齐。该方法在跨语言文档分类任务中实现了最先进性能，通过概率上下文建模学习到更具语义丰富性的表示，优于先前工作。

ABSTRACT

We present a probabilistic model that simultaneously learns alignments and distributed representations for bilingual data. By marginalizing over word alignments the model captures a larger semantic context than prior work relying on hard alignments. The advantage of this approach is demonstrated in a cross-lingual classification task, where we outperform the prior published state of the art.

研究动机与目标

• 开发一个统一的概率框架，联合学习词对齐与分布式双语词表示。
• 通过避免硬性对齐并改用对齐可能性的边缘化，提升双语表示学习中的语义上下文捕捉能力。
• 展示这些表示在跨语言迁移任务中的实用性，特别是文档分类任务。
• 为双语词嵌入提供概率基础，支持其在机器翻译等高级自然语言处理系统中的集成。
• 在标准基准任务上，将模型性能与现有最先进方法进行评估。

提出的方法

• 该模型结合 FastAlign 的对数线性对齐框架与对数双线性语言模型，联合优化词表示与对齐概率。
• 采用概率公式对所有可能的对齐方式进行边缘化，使模型能够捕捉比硬性对齐方法更广泛的语义上下文。
• 通过基于能量的模型学习词表示，其中上下文向量经过变换并组合以预测下一个词，参数通过端到端方式优化。
• 模型从对齐的词表示中计算翻译概率，通过文档中词向量的平均实现跨语言文档投影。
• 使用平均感知机分类器在投影表示上评估跨语言文档分类任务的性能。
• 使用 t-SNE 可视化分析所学习词表示的语义合理性。

实验结果

研究问题

• RQ1 与硬性对齐方法相比，对所有对齐可能性进行边缘化是否能带来更鲁棒且语义更丰富的双语词表示？
• RQ2 对齐与表示的联合学习是否能提升在文档分类等跨语言迁移任务中的性能？
• RQ3 所学习的表示在语义合理性方面与先前方法相比如何，特别是在捕捉跨语言词相似性方面？
• RQ4 该模型是否能在不依赖单语语言模型或额外训练数据的情况下实现最先进性能？
• RQ5 上下文大小（k）对所学表示质量及下游分类准确率有何影响？

主要发现

• 当在英语上进行训练并在德语上进行测试时，DWA 模型在 RCV1/2 语料库上达到 83.1% 的测试准确率，优于 Hermann 和 Blunsom（2014b）的先前最先进方法。
• 当在德语上进行训练并在英语上进行测试时，模型达到 76.0% 的准确率，超越了先前最先进方法，展现出强大的跨语言泛化能力。
• 在使用相同嵌入维度和训练数据的情况下，该模型性能与现有最佳方法相当，表明其具有高效率和高质量表示能力。
• t-SNE 可视化显示，语义相似的词（如 'chair' 和 'ratspräsidentschaft'）在共享嵌入空间中被映射得彼此接近，即使没有直接对齐。
• 该模型在无需额外单语语言模型或上下文信息的情况下学习到有意义的表示，表明通过联合优化对齐与表示可实现内在语义学习。
• 在 DWA 框架内训练的 FastAlign 分布式版本性能与原始 FastAlign 相当，验证了所学双语表示的有效性。