[论文解读] From Words to Sentences: A Progressive Learning Approach for Zero-resource Machine Translation with Visual Pivots

Shizhe Chen, Qin Jin+1 more|arXiv (Cornell University)|Jun 3, 2019

Natural Language Processing Techniques参考文献 24被引用 9

一句话总结

本文提出一种渐进式学习方法，用于零资源神经机器翻译，利用图像作为视觉锚点，以克服语义分歧的描述性文字带来的噪声监督。该方法首先基于图像区域学习词级翻译，然后利用这些结果通过标记级重加权和自编码机制来优化句级翻译，显著提升了在 IAPR-TC12 和 Multi30k 数据集上的翻译质量，优于当前最先进的图像锚定方法。

ABSTRACT

The neural machine translation model has suffered from the lack of large-scale parallel corpora. In contrast, we humans can learn multi-lingual translations even without parallel texts by referring our languages to the external world. To mimic such human learning behavior, we employ images as pivots to enable zero-resource translation learning. However, a picture tells a thousand words, which makes multi-lingual sentences pivoted by the same image noisy as mutual translations and thus hinders the translation model learning. In this work, we propose a progressive learning approach for image-pivoted zero-resource machine translation. Since words are less diverse when grounded in the image, we first learn word-level translation with image pivots, and then progress to learn the sentence-level translation by utilizing the learned word translation to suppress noises in image-pivoted multi-lingual sentences. Experimental results on two widely used image-pivot translation datasets, IAPR-TC12 and Multi30k, show that the proposed approach significantly outperforms other state-of-the-art methods.

研究动机与目标

• 为解决图像锚定零资源神经机器翻译中的噪声监督问题，即同一图像的多语言描述常聚焦于不同方面。
• 模仿人类语言学习过程，从更简单、更少歧义的词级翻译逐步过渡到更复杂的句级翻译。
• 通过利用学习到的词级翻译对句级训练对进行重加权与优化，降低图像描述中语义差异的影响。
• 通过利用来自图像锚定词翻译的多语言词嵌入作为先验知识，实现语言无关的自编码，增强跨语言句表示学习。

提出的方法

• 该方法首先使用图像锚定的词表示训练一个词级翻译模型，以学习可靠的跨语言词对齐。
• 然后对图像锚定的句对应用标记级重加权策略，将注意力集中在词级模型识别出的高置信度翻译标记上。
• 引入多语言自编码损失，利用词级嵌入作为先验知识，学习共享的、语言无关的句表示。
• 句级翻译模型联合训练两种损失：针对噪声句对的重加权交叉熵损失，以及用于表示学习的自编码损失。
• 该方法利用图像描述模型生成初始的多语言句对，但通过词级知识过滤并优化监督信号。
• 整个流程遵循渐进式学习策略：先训练词级翻译，再以词模型输出作为归纳偏置，训练句级翻译。

实验结果

研究问题

• RQ1 从图像锚定区域学习词级翻译是否能提升句级零资源翻译的鲁棒性？
• RQ2 对图像锚定句对进行标记级重加权，在多大程度上能减轻零资源翻译中噪声描述的影响？
• RQ3 当结合来自先前词翻译步骤的多语言词表示时，语言无关的句自编码机制有多高效？
• RQ4 渐进式学习顺序（先词后句）是否在零资源设置下优于联合训练或反向训练？

主要发现

• 在 IAPR-TC12 数据集上，所提方法在德语到英语翻译中达到 61.3 的 BLEU-4 分数，显著优于以往最先进的图像锚定方法。
• 在 Multi30k 数据集上，该方法在德语到英语翻译中达到 23.0 的 BLEU-4 分数，展现出跨数据集的强大泛化能力。
• 消融实验表明，若移除渐进式学习策略，性能最高下降 10 个 BLEU 分，证明了词级预训练的重要性。
• 尽管未使用任何平行数据，该方法在 IAPR-TC12 上实现了德语到英语翻译性能达到完全监督 NMT 模型（使用 18,000 组平行对训练）的 75%。
• 翻译性能与图像描述模型的质量成正比，表明更高质量的描述可带来更优的零资源翻译效果。
• 标记级重加权机制成功将高质量翻译对排在前列，并能从噪声描述对中提供细粒度监督。