[论文解读] Findings of the First Shared Task on Machine Translation Robustness

Xian Li, Paul Michel+8 more|arXiv (Cornell University)|Jun 27, 2019

Topic Modeling参考文献 31被引用 9

一句话总结

本论文报告了首次机器翻译鲁棒性共享任务的成果，评估了在英法和英日语对上的社交媒体噪声文本翻译系统。参赛者使用数据增强、微调和单语数据来提升鲁棒性，相较于基线模型最高提升了+22.33 BLEU，且人工评估与BLEU之间存在强烈相关性（r = 0.95）。

ABSTRACT

We share the findings of the first shared task on improving robustness of Machine Translation (MT). The task provides a testbed representing challenges facing MT models deployed in the real world, and facilitates new approaches to improve models; robustness to noisy input and domain mismatch. We focus on two language pairs (English-French and English-Japanese), and the submitted systems are evaluated on a blind test set consisting of noisy comments on Reddit and professionally sourced translations. As a new task, we received 23 submissions by 11 participating teams from universities, companies, national labs, etc. All submitted systems achieved large improvements over baselines, with the best improvement having +22.33 BLEU. We evaluated submissions by both human judgment and automatic evaluation (BLEU), which shows high correlations (Pearson's r = 0.94 and 0.95). Furthermore, we conducted a qualitative analysis of the submitted systems using compare-mt, which revealed their salient differences in handling challenges in this task. Such analysis provides additional insights when there is occasional disagreement between human judgment and BLEU, e.g. systems better at producing colloquial expressions received higher score from human judgment.

研究动机与目标

• 解决神经机器翻译（NMT）模型在社交媒体和用户生成内容中常见的噪声、非正式输入下表现脆弱的问题。
• 提升模型在真实部署场景中对拼写变异、语法错误和领域偏移的鲁棒性。
• 探索利用域外平行数据和大规模单语网络数据以增强模型泛化能力的有效方法。
• 通过系统性评估和定性分析，识别社交媒体文本翻译中的关键挑战，并为未来研究提供指导。

提出的方法

• 使用包含噪声Reddit评论及专业翻译的MTNT数据集，涵盖英法和英日语方向。
• 采用受限设置，鼓励使用域外平行数据和域内单语数据以提升鲁棒性。
• 应用数据清洗、领域感知训练、数据增强（包括回译和占位符标记）以及在域内噪声数据上的微调。
• 通过BLEU进行自动评估，并结合人工评估以衡量翻译质量和鲁棒性。
• 使用compare-mt进行定性分析，考察系统在特定噪声类型（如大小写变化、特殊字符、口语表达）下的行为。
• 评估系统在特定语言现象上的表现，包括大写单词、表情符号、标点异常和非正式语体。

实验结果

研究问题

• RQ1 数据增强和微调在提升神经机器翻译对噪声、非正式社交媒体文本的鲁棒性方面能取得多大程度的改善？
• RQ2 域外平行数据和单语网络数据在缓解领域偏移和输入噪声方面有多有效？
• RQ3 哪些关键语言挑战（如特殊字符、大写单词、口语表达）会降低翻译质量，系统如何应对这些挑战？
• RQ4 自动指标（如BLEU）在评估对噪声的鲁棒性时，与人工判断的相关性如何？
• RQ5 在实际机器翻译应用中，哪些具体技术在处理多样化噪声类型时带来了最显著的改进？

主要发现

• 表现最佳的系统相较于基线模型实现了+22.33 BLEU的显著提升，表明在应对噪声输入方面取得了实质性进展。
• 人工评估与BLEU之间表现出高度相关性（皮尔逊相关系数 r = 0.95），表明BLEU在此任务中仍是可靠的自动指标。
• 保留大小写敏感性的系统——尤其是准确翻译全大写单词的系统——表现显著更优，这一点通过按大小写分类的词F1值得到验证。
• 特殊字符处理方式差异显著：NLE在处理Unicode表情符号方面表现优异，而NTT则在处理日式笑脸符号方面更优，显示出模型特异性优势。
• 非标准标点和符号序列（如多个星号）构成挑战，NLE在这些情况下比NTT表现出更强的鲁棒性。
• 口语表达是关键区分因素：NTT生成的翻译更富非正式语体特征，而NLE则相对保守，表明在域内数据上进行微调有助于使输出风格与输入正式程度保持一致。