[论文解读] It's Easier to Translate out of English than into it: Measuring Neural Translation Difficulty by Cross-Mutual Information

Emanuele Bugliarello, Sabrina J. Mielke+3 more|arXiv (Cornell University)|May 5, 2020

Natural Language Processing Techniques参考文献 33被引用 9

一句话总结

本文提出交叉互信息（XMI），一种基于信息论的度量方法，通过利用概率模型以语言和分词无关的方式衡量神经机器翻译的难度。XMI 显示，从英语翻译出去通常比翻译成英语更容易，源语言的类型-词符比是难度最强的预测因子，这挑战了形态丰富的语言本身翻译难度更高的假设。

ABSTRACT

The performance of neural machine translation systems is commonly evaluated in terms of BLEU. However, due to its reliance on target language properties and generation, the BLEU metric does not allow an assessment of which translation directions are more difficult to model. In this paper, we propose cross-mutual information (XMI): an asymmetric information-theoretic metric of machine translation difficulty that exploits the probabilistic nature of most neural machine translation models. XMI allows us to better evaluate the difficulty of translating text into the target language while controlling for the difficulty of the target-side generation component independent of the translation task. We then present the first systematic and controlled study of cross-lingual translation difficulties using modern neural translation systems. Code for replicating our experiments is available online at https://github.com/e-bug/nmt-difficulty.

研究动机与目标

• 解决缺乏跨语言可比的神经机器翻译（NMT）难度评估度量的问题。
• 克服 BLEU 及类似度量的局限性，这些度量因依赖 n-gram 重叠和语言特异性属性，无法在不同目标语言之间进行可比性评估。
• 开发一种方法，将翻译难度与目标侧语言建模难度分离，从而实现在不同语言对之间的公平比较。
• 首次使用现代神经模型对跨语言 NMT 难度进行系统性、受控的实证研究。

提出的方法

• 提出 XMI，一种基于真实分布与模型分布之间交叉熵的非对称信息论度量，利用保留的测试数据进行计算。
• 使用概率神经机器翻译模型估计 HqMT(T|S) 和 HqMT(S|T)，分别表示模型在翻译方向上的不确定性。
• 将语言模型熵 HqLM(T) 分解为 XMI(S→T) —— 已成功传递的信息量 —— 与残余不确定性 HqMT(T|S)。
• 将 XMI 应用于 21 种欧洲语言，训练 40 个 NMT 系统（每种语言与英语之间双向翻译），以度量翻译难度。
• 通过在保持模型和数据结构不变的情况下比较不同翻译方向的 XMI 值，控制目标侧生成难度的影响。
• 对 XMI 与语言学特征（如类型-词符比（TTR）、词数、词重叠率）之间的相关性进行分析。

实验结果

研究问题

• RQ1 从英语翻译出去是否比翻译成英语更容易，程度如何？
• RQ2 目标语言的形态丰富度在多大程度上影响翻译难度，如 XMI 所度量的那样？
• RQ3 哪些语言学或数据相关特征与 XMI 所度量的翻译难度相关性最强？
• RQ4 当翻译到相同目标语言时，XMI 是否与 BLEU 相关？当从不同源语言翻译时，这种相关性如何变化？
• RQ5 XMI 是否能将翻译难度与目标侧语言建模难度分离，从而实现公平的跨语言比较？

主要发现

• 平均而言，从英语翻译出去的难度显著低于翻译成英语，这由英语到其他语言方向的 XMI 值更低所表明。
• 当翻译到相同目标语言时，XMI 与 BLEU 相关性良好，验证了其作为翻译难度可靠代理指标的有效性。
• 翻译难度与目标语言形态丰富度之间无显著相关性，挑战了既有的假设。
• 唯一具有统计显著性的翻译难度相关因子是源语言侧的类型-词符比（TTR），表明源语言的词汇多样性是难度的主要驱动因素。
• XMI 有效实现了翻译难度与目标侧语言建模难度的解耦，从而实现了公平的跨语言比较。
• 本研究表明，某一语言（如英语）的高 BLEU 分数并不意味着翻译更容易；例如，英语到芬兰语的高 BLEU 分数并不表示其翻译容易，因为 XMI 显示实际情况并非如此。