[论文解读] Globetrotter: Unsupervised Multilingual Translation from Visual Alignment

Dídac Surís Coll-Vinent, Dave Epstein+1 more|arXiv (Cornell University)|May 4, 2021

Multimodal Machine Learning Applications参考文献 49被引用 8

一句话总结

Globetrotter 提出了一种无监督多语言翻译框架，通过视觉对齐将多种语言通过图像连接起来，在单阶段内联合训练跨语言表征。通过利用语言与图像之间的跨模态对齐，该方法在52种语言的无监督词级和句级翻译任务上达到了最先进性能。

ABSTRACT

Machine translation in a multi-language scenario requires large-scale parallel corpora for every language pair. Unsupervised translation is challenging because there is no explicit connection between languages, and the existing methods have to rely on topological properties of the language representations. We introduce a framework that leverages visual similarity to align multiple languages, using images as the bridge between them. We estimate the cross-modal alignment between language and images, and use this estimate to guide the learning of cross-lingual representations. Our language representations are trained jointly in one model with a single stage. Experiments with fifty-two languages show that our method outperforms prior work on unsupervised word-level and sentence-level translation using retrieval.

研究动机与目标

• 解决无大规模平行语料库情况下的无监督多语言翻译挑战。
• 克服无监督设置下语言间缺乏显式连接的问题。
• 利用视觉相似性作为跨语言桥梁，提升表征对齐效果。
• 在单阶段内训练统一模型以支持所有语言，避免复杂的多阶段训练。
• 通过基于图像的监督实现多样化语言对之间的零样本翻译。

提出的方法

• 使用图像作为共享语义空间，对齐多语言句子表征。
• 通过对比学习估计语言嵌入与视觉特征之间的跨模态对齐。
• 训练单阶段联合模型，同时优化语言和视觉对齐目标。
• 利用视觉桥梁在无平行句子的情况下引导跨语言表征学习。
• 采用基于检索的评估方法衡量词级和句级翻译质量。
• 为文本和图像模态使用共享编码器，以确保语义一致性。

实验结果

研究问题

• RQ1 视觉对齐能否有效作为无监督多语言表征学习的桥梁？
• RQ2 具有语言-图像联合训练的单阶段模型在52种语言上进行零样本翻译时，泛化能力如何？
• RQ3 与纯单语或拓扑方法相比，视觉监督是否能提升跨语言对齐效果？
• RQ4 该模型是否能在无平行数据的情况下，实现词级和句级检索任务的竞争力表现？
• RQ5 该方法在无平行监督的情况下，能否有效扩展到大量语言？

主要发现

• Globetrotter 在52种语言的词级和句级翻译检索任务上均优于先前的无监督方法。
• 与仅依赖语言拓扑的方法相比，视觉对齐显著提升了跨语言表征质量。
• 单阶段联合训练框架在无需平行单语数据或复杂课程学习的情况下，实现了优异性能。
• 该模型在零样本语言对上表现出有效的泛化能力，展现出在低资源环境下的鲁棒性。
• 即使缺乏平行句子对，基于图像的监督也能实现有意义的跨语言对齐。
• 该方法在检索基准上取得了最先进结果，证实了视觉桥梁在多语言表征学习中的有效性。