[论文解读] End-to-End Lexically Constrained Machine Translation for Morphologically Rich Languages

de Souza Aires, João Paulo, Dušan Variš+2 more|arXiv (Cornell University)|Jan 1, 2021

Natural Language Processing Techniques参考文献 32被引用 11

一句话总结

本文提出了一种神经机器翻译方法，在训练过程中使用词素化目标约束，以在像捷克语这样的词形丰富的语言中实现正确的词形变化。通过在源句之外对词素化术语进行条件控制，该方法显著减少了搭配错误——在约束表面形式覆盖方面达到77.1%，并完全消除了100%的词形错误，相较于基线模型表现更优。

ABSTRACT

Lexically constrained machine translation allows the user to manipulate the output sentence by enforcing the presence or absence of certain words and phrases. Although current approaches can enforce terms to appear in the translation, they often struggle to make the constraint word form agree with the rest of the generated output. Our manual analysis shows that 46% of the errors in the output of a baseline constrained model for English to Czech translation are related to agreement. We investigate mechanisms to allow neural machine translation to infer the correct word inflection given lemmatized constraints. In particular, we focus on methods based on training the model with constraints provided as part of the input sequence. Our experiments on the English-Czech language pair show that this approach improves the translation of constrained terms in both automatic and manual evaluation by reducing errors in agreement. Our approach thus eliminates inflection errors, without introducing new errors or decreasing the overall quality of the translation.

研究动机与目标

• 解决在形态丰富的语言中，词汇约束神经机器翻译出现的词形错误问题。
• 通过在训练中使用词素化而非表面形式的约束，提升约束与上下文的一致性。
• 在不牺牲整体翻译质量或引入推理开销的前提下，完全消除约束翻译中的词形错误。
• 在合成数据集和真实世界术语集成场景下，评估词素化约束的有效性。

提出的方法

• 在训练期间将词素化目标约束与源句拼接，训练基于Transformer的神经机器翻译模型。
• 将词素化约束作为输入序列的一部分，引导模型生成符合上下文的词形变化形式。
• 使用标准的神经机器翻译训练目标和标准的交叉熵损失，使模型能够端到端学习词形变化模式。
• 对比不同集成方法：将词素化约束拼接到源句与使用输入因子标注源词元。
• 在合成测试集和真实世界术语集成任务上进行评估，使用Europarl-Czech测试集。
• 利用模型内在的语言建模能力，无需额外解码机制即可推断正确的表面形式。

实验结果

研究问题

• RQ1 使用词素化约束进行训练，是否能提升形态丰富语言在词汇约束神经机器翻译中的词形准确率？
• RQ2 与表面形式约束相比，使用词素化约束是否能减少搭配错误？
• RQ3 在流畅度和约束覆盖方面，词素化约束训练方法与基线约束解码方法相比表现如何？
• RQ4 模型生成正确词形的能力在多大程度上依赖于集成方法（拼接 vs. 输入因子）？
• RQ5 词素化约束是否能在不引入新错误的前提下，提升罕见或领域特定术语的翻译效果？

主要发现

• 词素化约束模型在Europarl测试集上实现了77.1%的表面形式覆盖，显著优于基线模型（69.9%）和表面形式模型（44%）。
• 自动评估中被标记为错误的样本中，仅有8%在词素化模型中实际为错误，而表面形式模型中这一比例高达66%，表明大多数错误是基于参考文本评估的误判。
• 词素化模型完全消除了所有词形错误——0%的错误源于错误的搭配，而表面形式模型中46%的错误与搭配错误有关。
• 在人工分析中，错误的词形选择数量从28处减少至4处，显示出词汇准确率的显著提升。
• 该方法在不引入新错误或增加推理成本的前提下，实现了高约束覆盖和正确的词形变化。
• 即使在使用双语词典进行罕见词汇翻译时，该方法依然有效，证明了其在低资源术语场景下的鲁棒性。