[论文解读] Dual Learning for Machine Translation

Yingce Xia, Di He+5 more|arXiv (Cornell University)|Nov 1, 2016

Natural Language Processing Techniques参考文献 14被引用 598

一句话总结

本论文介绍 dual-NMT，一种强化学习框架，在该框架中两个翻译模型通过在闭环中来回翻译，从未标注的单语数据中学习，在有限的双语数据下取得具有竞争力的结果。

ABSTRACT

While neural machine translation (NMT) is making good progress in the past two years, tens of millions of bilingual sentence pairs are needed for its training. However, human labeling is very costly. To tackle this training data bottleneck, we develop a dual-learning mechanism, which can enable an NMT system to automatically learn from unlabeled data through a dual-learning game. This mechanism is inspired by the following observation: any machine translation task has a dual task, e.g., English-to-French translation (primal) versus French-to-English translation (dual); the primal and dual tasks can form a closed loop, and generate informative feedback signals to train the translation models, even if without the involvement of a human labeler. In the dual-learning mechanism, we use one agent to represent the model for the primal task and the other agent to represent the model for the dual task, then ask them to teach each other through a reinforcement learning process. Based on the feedback signals generated during this process (e.g., the language-model likelihood of the output of a model, and the reconstruction error of the original sentence after the primal and dual translations), we can iteratively update the two models until convergence (e.g., using the policy gradient methods). We call the corresponding approach to neural machine translation \emph{dual-NMT}. Experiments show that dual-NMT works very well on English$\leftrightarrow$French translation; especially, by learning from monolingual data (with 10% bilingual data for warm start), it achieves a comparable accuracy to NMT trained from the full bilingual data for the French-to-English translation task.

研究动机与目标

• 激发减少对代价高昂的双语数据在神经机器翻译（NMT）中的依赖。
• 提出一个双学习游戏，其中两个翻译模型使用单语数据互相教学。
• 开发一个基于强化学习的算法（dual-NMT），以联合优化两个翻译方向。
• 在英语↔法语仅有有限并行数据的情况下演示 dual-NMT 的有效性，并与基线进行比较。

提出的方法

• 将机器翻译（MT）表述为一个两智能体的双任务：A→B 与 B→A 的翻译形成一个闭环。
• 使用两种语言的单语语料作为学习来源，无需对齐数据。
• 采用语言模型奖励以及重构/通信奖励来定义反向传播的总奖励。
• 应用带束搜索的中间翻译来估计梯度的策略梯度方法。
• 以双语数据进行暖启动，并逐步更多依赖单语数据（soft-landing）。
• 在 En→Fr 与 Fr→En 上与标准 NMT 和伪-NMT 基线进行比较。

实验结果

研究问题

• RQ1 双学习是否能够仅用单语数据或在有限双语数据的情况下实现有效的 NMT 训练？
• RQ2 在 En↔Fr 翻译任务中，dual-NMT 相对于标准 NMT 与伪-NMT 的表现如何？
• RQ3 双学习是否提升自我重构质量和回译的一致性？
• RQ4 暖启动数据量对 dual-NMT 性能的影响有多大？

主要发现

• dual-NMT 在 En→Fr 与 Fr→En 的所有设置中均优于 NMT 和伪-NMT。
• 在仅有 10% 双语数据的情况下，Dual-NMT 的 Fr→En 性能与用 100% 双语数据训练的 NMT 相当。
• Dual-NMT 的自我重构（回译）BLEU 分数显著高于基线（在某些设置中高出约 20 点）。
• 基于束搜索的中间翻译比随机采样提供更有意义的梯度估计。
• 当并行数据稀缺时，Dual-NMT 获得的增益更大，表明对单语数据的利用更强。