[论文解读] Simultaneous Neural Machine Translation using Connectionist Temporal Classification

Katsuki Chousa, Katsuhito Sudoh+1 more|arXiv (Cornell University)|Nov 27, 2019

Natural Language Processing Techniques参考文献 13被引用 5

一句话总结

该论文提出了一种新颖的端到端神经机器翻译方法，通过引入可学习的<wait>标记来动态控制翻译延迟，实现根据上下文自适应等待。通过将连接时序分类（CTC）与延迟惩罚项及标准交叉熵损失相结合，模型在优化翻译质量与延迟控制方面取得平衡，在英语到日语翻译任务中实现了比完整句子翻译更低的延迟，同时保持了具有竞争力的准确率。

ABSTRACT

Simultaneous machine translation is a variant of machine translation that starts the translation process before the end of an input. This task faces a trade-off between translation accuracy and latency. We have to determine when we start the translation for observed inputs so far, to achieve good practical performance. In this work, we propose a neural machine translation method to determine this timing in an adaptive manner. The proposed method introduces a special token '', which is generated when the translation model chooses to read the next input token instead of generating an output token. It also introduces an objective function to handle the ambiguity in wait timings that can be optimized using an algorithm called Connectionist Temporal Classification (CTC). The use of CTC enables the optimization to consider all possible output sequences including '' that are equivalent to the reference translations and to choose the best one adaptively. We apply the proposed method into simultaneous translation from English to Japanese and investigate its performance and remaining problems.

研究动机与目标

• 为解决同步神经机器翻译中的延迟-准确率权衡问题，特别是针对英语与日语等句法差异较大的语言对。
• 通过引入可学习的<wait>标记，使模型能够在翻译过程中动态、上下文感知地决定是否等待更多输入。
• 利用连接时序分类（CTC）优化模型，以处理训练过程中<wait>标记时间位置的模糊对齐问题，而无需依赖标准对齐数据。
• 通过基于输入复杂度学习最优等待时机，而非像Wait-k方法那样使用固定延迟，从而在低延迟场景下提升翻译质量。
• 在小型和中型平行语料库上评估该方法，考察其对不同输入长度和结构复杂度的适应能力。

提出的方法

• 在目标序列中引入特殊的<wait>标记，表示模型决定延迟翻译并读取下一个输入标记。
• 使用CTC进行模型训练，考虑所有与参考翻译等价的<wait>标记插入方式，以处理训练过程中的对齐模糊性。
• 将CTC损失与延迟惩罚项及标准交叉熵损失相结合，联合优化翻译准确性、延迟控制及<wait>标记的时机。
• 在增量解码设置中应用模型，解码器仅在编码器处理完由<wait>决策决定的可变数量源端标记后，才生成输出标记。
• 采用可微分的训练目标，实现对整个序列（包括输出生成与等待行为）的端到端优化。
• 使用超参数α控制延迟与翻译质量之间的权衡，α值越高表示越倾向于早期翻译，α值越低则允许更长的等待时间。

实验结果

研究问题

• RQ1 神经模型是否能够在不依赖固定延迟调度的情况下，学会在翻译过程中决定何时等待更多输入？
• RQ2 在<wait>标记时间位置模糊的情况下，CTC的使用如何提升训练稳定性和性能？
• RQ3 与Wait-k等固定延迟基线方法相比，该方法在句法差异较大的语言对上是否实现了更优的延迟-准确率权衡？
• RQ4 对于具有延迟句法依赖的复杂长句，模型表现如何？
• RQ5 模型的失败模式是什么，特别是关于过多生成<wait>标记的问题？

主要发现

• 在small_parallel_enja数据集上，该方法实现了4.32个标记（±3.14）的延迟，BLEU得分为28.01，RIBES得分为81.78，延迟较完整句子翻译降低了50%以上，同时保持了合理的翻译质量。
• 当α = 0.01时，模型BLEU得分为30.42，RIBES得分为82.60，尽管BLEU略低，但在RIBES和延迟方面优于k=3的Wait-k方法（BLEU 31.06）。
• 在ASPEC数据集上，由于存在复杂的长距离依赖关系，该方法的延迟显著高于Wait-k方法（α=0.03时为23.03个标记，而k=5时为5.00个标记）。
• 模型成功翻译了如'walking'等复杂短语，仅在完整子词'walk'被观察到后才生成对应翻译，避免了Wait-k等固定延迟模型中常见的错误。
• 模型偶尔会生成连续的<wait>标记，尤其在α值较低时，表明当前训练目标对过度等待的惩罚不足。
• 结果表明，该方法能根据输入复杂度自适应调整延迟——简单输入延迟较短，复杂输入则等待更久，展现出动态、上下文感知的行为特征。