[论文解读] Learning Coupled Policies for Simultaneous Machine Translation.

Philip Arthur, Trevor Cohn+1 more|arXiv (Cornell University)|Feb 11, 2020

Natural Language Processing Techniques参考文献 11被引用 5

一句话总结

本文提出了一种模仿学习方法，用于训练用于同步机器翻译的耦合程序员-解释器策略，其中程序员决定何时读取输入或写出输出，而解释器选择下一个词。基于词对齐的算法型虚拟机（oracle）使该方法通过调度采样减少了暴露偏差，并在多个语种对上实现了翻译质量和延迟方面的最先进性能。

ABSTRACT

In simultaneous machine translation, the system needs to incrementally generate the output translation before the input sentence ends. This is a coupled decision process consisting of a programmer and interpreter. The programmer's policy decides about when to WRITE the next output or READ the next input, and the interpreter's policy decides what word to write. We present an imitation learning (IL) approach to efficiently learn effective coupled programmer-interpreter policies. To enable IL, we present an algorithmic oracle to produce oracle READ/WRITE actions for training bilingual sentence-pairs using the notion of word alignments. We attribute the effectiveness of the learned coupled policies to (i) scheduled sampling addressing the coupled exposure bias, and (ii) quality of oracle actions capturing enough information from the partial input before writing the output. Experiments show our method outperforms strong baselines in terms of translation quality and delay, when translating from German/Arabic/Czech/Bulgarian/Romanian to English.

研究动机与目标

• 为解决同步机器翻译的挑战，即必须在输入完成前逐步生成输出。
• 将耦合决策过程建模为程序员-解释器策略对，其中程序员控制读取/写入时机，解释器选择输出词。
• 开发一种模仿学习框架，利用基于词对齐生成的虚拟机动作，有效训练这些耦合策略。
• 通过调度采样减轻耦合策略训练过程中的暴露偏差。
• 在多种语种对的低延迟翻译场景中，提升翻译质量并减少延迟。

提出的方法

• 基于词对齐信息，算法型虚拟机为每对双语句子生成最优的READ和WRITE动作。
• 程序员策略根据部分输入选择动作（读取输入或写入输出），而解释器策略生成下一个输出词。
• 应用模仿学习，利用来自虚拟机的监督信号端到端训练两个策略。
• 引入调度采样，通过在训练过程中同时使用真实动作和预测动作，减轻暴露偏差。
• 虚拟机动作被设计为在生成输出前从部分输入中捕获充分上下文，确保决策具有信息量。
• 该框架在德语、阿拉伯语、捷克语、保加利亚语和罗马尼亚语到英语的翻译任务上进行训练和评估。

实验结果

研究问题

• RQ1 如何通过模仿学习有效训练用于同步机器翻译的耦合程序员-解释器策略？
• RQ2 基于词对齐的虚拟机在低延迟翻译中的策略学习方面，能提升多大程度？
• RQ3 调度采样能否有效缓解同步翻译中耦合决策过程的暴露偏差？
• RQ4 虚拟机动作的质量与训练策略如何共同影响翻译质量与延迟？
• RQ5 在多种语种对上，该方法相较于强基线在BLEU分数和延迟方面带来了多大的性能提升？

主要发现

• 所提方法在德语、阿拉伯语、捷克语、保加利亚语和罗马尼亚语到英语的翻译中，实现了最先进的翻译质量（以BLEU分数衡量）。
• 与强基线相比，该方法显著减少了翻译延迟，展示了更优的实时性能。
• 调度采样有效缓解了耦合策略训练过程中的暴露偏差，提升了推理的鲁棒性。
• 基于词对齐生成的虚拟机动作能从部分输入中捕获充分上下文，实现及时且准确的输出生成。
• 耦合策略框架在翻译质量和延迟方面均优于现有方法，尤其在低资源和词形复杂的语种对上表现更优。