[论文解读] Is it Great or Terrible? Preserving Sentiment in Neural Machine Translation of Arabic Reviews

Hadeel Saadany, Constantin Orǎsan|arXiv (Cornell University)|Oct 26, 2020

Natural Language Processing Techniques被引用 4

一句话总结

本文针对阿拉伯语用户生成内容（UGC）神经机器翻译（NMT）中的情感保持错误，特别是书评中，线上工具如 Google Translate 常常错误地表示情感极性。通过使用情感敏感的预训练词向量和极性标注的源文本对 NMT 模型进行微调，该方法在 F1 分数上达到 0.81，与 Google Translate 相比情感偏差降低了 75%，显著提升了词级和句级情感准确性。

ABSTRACT

Since the advent of Neural Machine Translation (NMT) approaches there has been a tremendous improvement in the quality of automatic translation. However, NMT output still lacks accuracy in some low-resource languages and sometimes makes major errors that need extensive post-editing. This is particularly noticeable with texts that do not follow common lexico-grammatical standards, such as user generated content (UGC). In this paper we investigate the challenges involved in translating book reviews from Arabic into English, with particular focus on the errors that lead to incorrect translation of sentiment polarity. Our study points to the special characteristics of Arabic UGC, examines the sentiment transfer errors made by Google Translate of Arabic UGC to English, analyzes why the problem occurs, and proposes an error typology specific of the translation of Arabic UGC. Our analysis shows that the output of online translation tools of Arabic UGC can either fail to transfer the sentiment at all by producing a neutral target text, or completely flips the sentiment polarity of the target word or phrase and hence delivers a wrong affect message. We address this problem by fine-tuning an NMT model with respect to sentiment polarity showing that this approach can significantly help with correcting sentiment errors detected in the online translation of Arabic UGC.

研究动机与目标

• 识别并分类阿拉伯语用户生成内容（UGC）神经机器翻译输出中的情感传递错误，特别是在书评中。
• 研究像 Google Translate 这类在线翻译工具为何在阿拉伯语 UGC 中无法保持情感极性，特别是由于方言阿拉伯语（DA）与现代标准阿拉伯语（MSA）之间的语码转换。
• 开发一种情感敏感的 NMT 训练方法，以提高在词级和句级上的情感翻译准确性。
• 使用基于词典的指标评估情感保持，这些指标衡量情感得分差异，超越 BLEU 分数，以更准确地评估情感保真度。
• 证明使用情感感知嵌入和极性标注进行微调，可显著提升低资源、情感敏感的阿拉伯语 UGC 的 NMT 性能。

提出的方法

• 构建一个手工制作的阿拉伯语书评测试集，其中包含在方言阿拉伯语（DA）和现代标准阿拉伯语（MSA）中具有相反情感极性的反义词（contronyms）。
• 基于对 NMT 输出的定性分析，开发情感错误类型学，识别出情感传递失败和极性反转等问题。
• 训练两个基于 Transformer 的 NMT 模型：一个使用标准预训练嵌入，另一个使用情感敏感的预训练向量和极性标注的源句。
• 在小型标注数据集上对情感敏感模型进行微调，为反义词提供显式情感标签，以改善上下文感知翻译。
• 引入基于情感得分的评估指标，计算使用 Microsoft Azure 情感分析服务预测与参考情感得分之间的均方距离，以评估句级情感保持。
• 通过 BLEU 和情感特定指标比较翻译质量，后者能更准确地评估情感保真度。

实验结果

研究问题

• RQ1 在阿拉伯语 UGC 的神经机器翻译输出中，哪些错误类型会导致情感保持不正确，特别是在 DA-MSA 混合文本中？
• RQ2 如何通过情感敏感的输入表示提升阿拉伯语 UGC 中神经机器翻译的情感极性传递？
• RQ3 BLEU 是否是最适合评估阿拉伯语到英语翻译中情感保持的指标，还是需要使用情感特定指标？
• RQ4 使用情感感知嵌入和极性标注对 NMT 模型进行微调，在多大程度上能减少阿拉伯语 UGC 翻译中的情感失真？

主要发现

• Google Translate 在阿拉伯语 UGC 中经常无法保持情感，常产生中性输出或反转情感极性，特别是在方言阿拉伯语（DA）与现代标准阿拉伯语（MSA）中含义相反的反义词中。
• 情感敏感的 NMT 模型在词级情感分类中达到 F1 分数 0.81 和精确率 0.85，显著优于 Google Translate。
• 情感敏感模型将情感得分差异（翻译成本）降低至正面评论为 0.06，负面评论为 0.14，而 Google Translate 在正面样本上的成本为 0.71。
• Google Translate 在负面反义词上的表现（成本 0.15）优于正面反义词（成本 0.71），表明在正面情感上存在系统性的情感反转偏差。
• 短句的情感偏差最高，特别是当像 'رهيبه'（awesome）这样的正面反义词被误译为 'Terrible' 时。
• 本研究证实，仅使用 BLEU 分数不足以评估情感保持，情感特定指标对于准确评估翻译中的情感保真度至关重要。