[论文解读] Automatic Evaluation and Analysis of Idioms in Neural Machine Translation

Christos Baziotis, Prashant Mathur+1 more|arXiv (Cornell University)|Oct 10, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文提出 LitTER，一种新型自动指标，用于在无需人工构建词表的情况下检测神经机器翻译（NMT）中的直译错误。通过单语预训练，作者在零样本设置下显著提升了习语翻译的表现，证明了预训练能够增强上下文理解并减少直译错误。

ABSTRACT

A major open problem in neural machine translation (NMT) is the translation of idiomatic expressions, such as "under the weather". The meaning of these expressions is not composed by the meaning of their constituent words, and NMT models tend to translate them literally (i.e., word-by-word), which leads to confusing and nonsensical translations. Research on idioms in NMT is limited and obstructed by the absence of automatic methods for quantifying these errors. In this work, first, we propose a novel metric for automatically measuring the frequency of literal translation errors without human involvement. Equipped with this metric, we present controlled translation experiments with models trained in different conditions (with/without the test-set idioms) and across a wide range of (global and targeted) metrics and test sets. We explore the role of monolingual pretraining and find that it yields substantial targeted improvements, even without observing any translation examples of the test-set idioms. In our analysis, we probe the role of idiom context. We find that the randomly initialized models are more local or "myopic" as they are relatively unaffected by variations of the idiom context, unlike the pretrained ones.

研究动机与目标

• 解决 NMT 中直译错误缺乏自动、针对性评估方法的问题，特别是针对习语的检测。
• 克服先前方法在检测直译错误时对人工标注词表的依赖。
• 研究单语预训练对零样本和少样本设置下习语翻译性能的影响。
• 分析上下文变化如何影响模型在习语翻译中的行为，对比预训练与随机初始化模型的表现。
• 开发一个统一的评估框架，将 LitTER 与基于对齐的指标结合，全面评估习语翻译质量。

提出的方法

• 提出 LitTER，该指标能从双语词典自动生成词级词表，并通过参考译文过滤，以识别直译错误。
• 使用 MUSE 双语词嵌入将源习语的各个单词翻译为目标语言，形成初始候选词表。
• 通过移除出现在参考译文中的词语来过滤词表，避免当正确翻译为直译时产生误报。
• 通过检查翻译输出中是否包含剩余的词表词语，应用 LitTER 评估翻译假设。
• 在不同数据划分（是否包含测试集习语）上训练的模型上进行受控的 NMT 实验，并使用 mBART 进行单语预训练。
• 通过改变习语周围的上下文进行探针实验，以评估模型在翻译决策中的敏感性与不确定性。

实验结果

研究问题

• RQ1 我们能否在不依赖人工构建词表的情况下，自动检测 NMT 中的直译错误？
• RQ2 即使在训练过程中未见过测试集习语的平行语料，单语预训练在多大程度上能提升习语翻译性能？
• RQ3 习语周围的上下文如何影响模型的翻译行为？预训练是否使模型对上下文变化更加敏感？
• RQ4 与随机初始化模型相比，预训练模型在习语翻译中的上下文感知能力和不确定性表现如何？
• RQ5 LitTER 能否与基于对齐的指标有效结合，以提供更全面的习语翻译质量评估？

主要发现

• LitTER 成功检测了直译错误，且无需依赖语言特定的人工词表，实现了可扩展的自动评估。
• 使用 mBART 进行单语预训练显著提升了习语翻译性能，即使在零样本设置下（训练时未见测试习语的平行语料）也表现优异。
• 预训练模型对习语周围的上下文变化表现出更强的敏感性，表明其相比随机初始化模型具备更优的上下文理解能力。
• 随机初始化模型更具‘短视’特征——其对习语上下文的变化不那么敏感，表明其上下文感知能力较弱。
• 预训练模型中的直译错误频率显著降低，证明预训练有助于提升非组合性短语的理解能力。
• LitTER 能有效隔离与习语相关的错误，当与 BLEU 等全局指标结合时，能对 NMT 在习语翻译上的表现提供更细致的评估。