[论文解读] How Effective is Byte Pair Encoding for Out-Of-Vocabulary Words in Neural Machine Translation?

Ali Araabi, Christof Monz+1 more|arXiv (Cornell University)|Aug 10, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本文评估了子词分词（BPE）在神经机器翻译（NMT）中处理未登录词（OOV）的翻译效果。尽管BPE被广泛使用且在自动指标上表现优异，但研究发现仍有相当大比例的OOV词被错误翻译，且翻译性能因词性、语言相似性及注意力分布而异，凸显了BPE在词级别上未能完全解决OOV问题的局限性。

ABSTRACT

Neural Machine Translation (NMT) is an open vocabulary problem. As a result, dealing with the words not occurring during training (a.k.a. out-of-vocabulary (OOV) words) have long been a fundamental challenge for NMT systems. The predominant method to tackle this problem is Byte Pair Encoding (BPE) which splits words, including OOV words, into sub-word segments. BPE has achieved impressive results for a wide range of translation tasks in terms of automatic evaluation metrics. While it is often assumed that by using BPE, NMT systems are capable of handling OOV words, the effectiveness of BPE in translating OOV words has not been explicitly measured. In this paper, we study to what extent BPE is successful in translating OOV words at the word-level. We analyze the translation quality of OOV words based on word type, number of segments, cross-attention weights, and the frequency of segment n-grams in the training data. Our experiments show that while careful BPE settings seem to be fairly useful in translating OOV words across datasets, a considerable percentage of OOV words are translated incorrectly. Furthermore, we highlight the slightly higher effectiveness of BPE in translating OOV words for special cases, such as named-entities and when the languages involved are linguistically close to each other.

研究动机与目标

• 探究BPE是否真正解决了NMT中词级别的OOV问题。
• 分析不同词类（如命名实体和屈折词）的OOV词翻译质量。
• 考察BPE子词粒度、交叉注意力权重以及训练数据中n-gram频率对OOV翻译质量的影响。
• 评估BLEU等自动指标是否能准确反映OOV翻译的有效性。

提出的方法

• 研究使用德语-英语、俄语-英语和罗马尼亚语-英语翻译数据集，采用大规模训练数据以减少数据稀缺的影响。
• OOV词基于推理阶段源端词汇覆盖率进行识别，翻译在词级别上进行评估。
• 通过人工标注OOV词翻译质量，分类为正确、部分正确或错误。
• 分析NMT模型的交叉注意力权重，以判断较高注意力是否与更好的OOV翻译质量相关。
• 使用Mann-Whitney U检验比较不同翻译质量标签下BPE子词n-gram（最多n=5）在训练数据中的频率分布。
• 探讨目标端OOV状态与源端OOV翻译质量之间的关系，以评估其对翻译性能的间接影响。

实验结果

研究问题

• RQ1 BPE在不同语言对中，对OOV词的词级别翻译效果如何？
• RQ2 OOV词的翻译质量如何随词类（如命名实体与其他词类）而变化？
• RQ3 交叉注意力权重在BPE分词后的OOV词准确翻译中起什么作用？
• RQ4 BPE n-gram在训练数据中的频率与OOV词翻译质量之间是否存在显著相关性？
• RQ5 若正确的目标端翻译本身也是OOV，是否会对源端OOV词的翻译质量产生负面影响？

主要发现

• 尽管进行了BPE分词，仍有相当大比例的OOV词被错误翻译，表明词级别的OOV问题仍未得到解决。
• BPE在翻译命名实体方面表现出显著更高的有效性，尤其在语言相似性较高的语言对（如罗马尼亚语-英语和德语-英语）中。
• 高交叉注意力权重与OOV词翻译质量的提升存在强烈正相关，表明注意力机制在准确翻译OOV词中起关键作用。
• 在正确与错误翻译之间，BPE n-gram（最多n=5）的频率分布无统计学显著差异，表明训练数据中n-gram频率无法可靠预测OOV翻译质量。
• 源端OOV词的翻译质量并未因其中文正确目标端翻译是否也为OOV而表现出一致影响，且在不同语言对间无统一趋势。
• BLEU等自动评估指标未能捕捉BPE在OOV词翻译中的真实有效性，凸显了在此类任务中人工评估的必要性。