[论文解读] BilBOWA: Fast Bilingual Distributed Representations without Word Alignments

Stephan Gouws, Yoshua Bengio+1 more|arXiv (Cornell University)|Oct 9, 2014

Topic Modeling参考文献 23被引用 314

一句话总结

BilBOWA 是一种快速、可扩展的方法，用于在无需词级对齐或并行词典的情况下学习双语词嵌入。它在单语语料上进行训练，采用一种新颖的采样跨语言词袋目标函数，仅利用句子级对齐的平行数据，在跨语言文档分类和词汇翻译任务上实现了最先进性能，训练速度比之前的方法快达三个数量级。

ABSTRACT

We introduce BilBOWA (Bilingual Bag-of-Words without Alignments), a simple and computationally-efficient model for learning bilingual distributed representations of words which can scale to large monolingual datasets and does not require word-aligned parallel training data. Instead it trains directly on monolingual data and extracts a bilingual signal from a smaller set of raw-text sentence-aligned data. This is achieved using a novel sampled bag-of-words cross-lingual objective, which is used to regularize two noise-contrastive language models for efficient cross-lingual feature learning. We show that bilingual embeddings learned using the proposed model outperform state-of-the-art methods on a cross-lingual document classification task as well as a lexical translation task on WMT11 data.

研究动机与目标

• 开发一种可扩展、高效的双语分布式词表示学习方法，无需依赖词级对齐的平行数据。
• 在仅使用句子级平行数据的前提下，实现在单语语料上的大规模训练，同时保持跨语言对齐。
• 提升下游任务（如文档分类和词翻译）中的跨语言迁移性能。
• 与之前需要昂贵词对齐或大规模平行语料的方法相比，显著减少训练时间。
• 为现有双语嵌入模型提供一种实用、高效的替代方案，避免其训练过慢或数据受限的问题。

提出的方法

• 模型在单语文本上分别训练源语言和目标语言的噪声对比语言模型，以标准跳字模型方式学习词嵌入。
• 提出一种新颖的采样跨语言损失函数，称为 BilBOWA 损失，利用仅句子对齐的平行句对来对齐单语嵌入。
• BilBOWA 损失基于句子对的词袋表示，从每句话中采样词，并最小化其嵌入之间的 L2 距离。
• 该方法通过直接利用句子级共现统计信息来正则化单语模型的联合训练，避免了词级对齐。
• 采用异步随机梯度下降配合梯度裁剪，以加速训练而不降低嵌入质量。
• 对训练句子进行并行采样，可提升收敛速度和准确性，尤其对高频词效果显著。

实验结果

研究问题

• RQ1 是否可以在不依赖词级对齐或并行词典的情况下，有效学习双语词嵌入？
• RQ2 能否设计一种可高效扩展至大规模单语语料库的跨语言目标函数，同时仅使用少量句子对齐数据？
• RQ3 基于采样和词袋表示的跨语言损失是否在准确率和训练速度方面均优于现有方法？
• RQ4 是否可以仅使用句子级平行数据，有效对齐跨语言的单语词嵌入？
• RQ5 是否可能在显著减少训练时间的前提下，实现在跨语言任务上的最先进性能？

主要发现

• BilBOWA 在英语-德语跨语言文档分类任务上实现了最先进性能，优于先前方法。
• 在英语-西班牙语词汇翻译任务上，BilBOWA 将 top-1 准确率提升 6 个百分点（达到 39%），top-5 准确率提升 9 个百分点（达到 44%），超过之前最先进方法。
• 模型将训练时间缩短至数分钟或数小时，相比以往需要数天训练的方法，速度提升达三个数量级。
• 采用异步训练配合梯度裁剪，实现了快速收敛，同时不损害嵌入质量。
• 并行采样显著提升了准确性，尤其对高频词效果明显，增强了单语和跨语言表示学习效果。
• 该方法在不同语言间泛化良好，尽管缺乏词级对齐或训练词典，仍能实现细粒度的翻译等价学习。