[论文解读] Learning to Discriminate Noises for Incorporating External Information in Neural Machine Translation

Zaixiang Zheng, Shujian Huang+4 more|arXiv (Cornell University)|Oct 24, 2018

Natural Language Processing Techniques参考文献 35被引用 4

一句话总结

本文提出一种噪声判别框架，通过联合识别外部信息（如SMT输出、词典或人工修正）中的全局噪声和局部噪声，实现神经机器翻译（NMT）的增强，且无需标注数据。该模型在并行语料库生成的合成数据上进行训练，通过在解码过程中过滤无关词汇，显著提升了翻译质量，尤其在高噪声条件下表现突出。

ABSTRACT

Previous studies show that incorporating external information could improve the translation quality of Neural Machine Translation (NMT) systems. However, there are inevitably noises in the external information, severely reducing the benefit that the existing methods could receive from the incorporation. To tackle the problem, this study pays special attention to the discrimination of the noises during the incorporation. We argue that there exist two kinds of noise in this external information, i.e. global noise and local noise, which affect the translations for the whole sentence and for some specific words, respectively. Accordingly, we propose a general framework that learns to jointly discriminate both the global and local noises, so that the external information could be better leveraged. Our model is trained on the dataset derived from the original parallel corpus without any external labeled data or annotation. Experimental results in various real-world scenarios, language pairs, and neural architectures indicate that discriminating noises contributes to significant improvements in translation quality by being able to better incorporate the external information, even in very noisy conditions.

研究动机与目标

• 为解决在神经机器翻译（NMT）中，噪声外部信息对引入此类数据优势的负面影响这一挑战。
• 识别两种不同类型的噪声：全局噪声（与整个句子无关）和局部噪声（在特定翻译步骤中无关）。
• 开发一种可泛化的框架，能够无须外部标注或任务特定调优，有效区分这两种噪声。
• 证明噪声判别可在多种真实世界场景和语言对中带来一致的性能提升。

提出的方法

• 该框架采用两个独立的判别器：一个全局词判别器，用于评估外部词汇与整个句子的相关性；一个局部词判别器，用于在每个解码步骤中评估相关性。
• 外部信息被表示为一组词汇（外部词汇），适用于多种来源，如SMT输出、双语词典或人工修正。
• 模型在从并行句子中采样词汇生成的合成数据上进行训练，无需人工标注的噪声标签。
• 训练过程利用原始并行语料库生成具有噪声但真实的外部词汇集合，从而实现自监督学习。
• 推理阶段，判别器在外部词汇影响NMT解码器注意力或输出生成前，将其过滤掉。
• 该框架可统一应用于不同神经网络架构和真实世界外部数据源，无需重新训练或适应。

实验结果

研究问题

• RQ1 外部信息中的全局和局部噪声如何影响NMT的翻译质量？
• RQ2 是否能够通过统一框架有效判别全局和局部噪声，而无需依赖外部标注？
• RQ3 噪声判别是否能带来可测量的翻译性能提升，尤其是在高噪声场景下？
• RQ4 在合成数据上训练的模型是否能无需任务特定微调，泛化到多种外部信息来源？

主要发现

• 外部信息中的噪声会显著阻碍NMT系统在引入此类数据时的性能提升。
• 所提出的噪声判别框架在SMT场景下达到35.71的BLEU分数，优于基线模型（33.28），并在高噪声条件下取得最大提升。
• 在词典场景中，模型从基线的32.57提升至34.10 BLEU，证明即使在词级别翻译表下也具有有效性。
• 该模型在四种真实世界场景（SMT、词表、词典和词袋预测）中均表现出良好泛化能力，无需重新训练或调优。
• 案例研究显示，即使人工修正极少，模型也能成功利用外部词汇纠正NMT错误（如将“working”替换为“moving”）。
• 该框架在不同神经网络架构和语言对中均保持强劲性能，证实其鲁棒性与可迁移性。