[论文解读] An Overview on Machine Translation Evaluation

Lifeng Han|arXiv (Cornell University)|Feb 22, 2022

Natural Language Processing Techniques被引用 6

一句话总结

本文全面综述了机器翻译评估（MTE）的发展，涵盖其历史演变、评估方法的分类以及前沿进展。文章分析了人工评估与自动评估技术，包括基于参考译文和无参考译文的方法，同时对可靠性进行了元评估，主要贡献在于基于任务的评估、预训练语言模型的应用，以及知识蒸馏在轻量化优化中的运用。

ABSTRACT

Since the 1950s, machine translation (MT) has become one of the important tasks of AI and development, and has experienced several different periods and stages of development, including rule-based methods, statistical methods, and recently proposed neural network-based learning methods. Accompanying these staged leaps is the evaluation research and development of MT, especially the important role of evaluation methods in statistical translation and neural translation research. The evaluation task of MT is not only to evaluate the quality of machine translation, but also to give timely feedback to machine translation researchers on the problems existing in machine translation itself, how to improve and how to optimise. In some practical application fields, such as in the absence of reference translations, the quality estimation of machine translation plays an important role as an indicator to reveal the credibility of automatically translated target languages. This report mainly includes the following contents: a brief history of machine translation evaluation (MTE), the classification of research methods on MTE, and the the cutting-edge progress, including human evaluation, automatic evaluation, and evaluation of evaluation methods (meta-evaluation). Manual evaluation and automatic evaluation include reference-translation based and reference-translation independent participation; automatic evaluation methods include traditional n-gram string matching, models applying syntax and semantics, and deep learning models; evaluation of evaluation methods includes estimating the credibility of human evaluations, the reliability of the automatic evaluation, the reliability of the test set, etc. Advances in cutting-edge evaluation methods include task-based evaluation, using pre-trained language models based on big data, and lightweight optimisation models using distillation techniques.

研究动机与目标

• 系统性地概述不同技术时代下机器翻译评估（MTE）的演变过程与当前状态。
• 对MTE中的研究方法进行分类与分析，包括基于参考译文与无参考译文的评估方法。
• 通过元评估探究人工评估、自动指标和测试集的可靠性与可信度。
• 探索基于任务的评估等最新评估技术的进展，以及预训练语言模型的应用。
• 研究在资源受限环境下，利用知识蒸馏实现高效评估的轻量化优化策略。

提出的方法

• 将MTE分为人工评估与自动评估，进一步细分为基于参考译文与参考译文无关的方法。
• 回顾基于n-gram字符串匹配的传统自动评估方法（如BLEU、METEOR）。
• 分析融合句法与语义信息的模型，以实现超越表面匹配的评估。
• 研究基于深度学习的自动评估模型，利用神经网络预测人类评分。
• 引入元评估技术，以评估人工标注、自动指标和测试集质量的可靠性。
• 讨论近期创新，如基于任务的评估、大规模预训练语言模型的应用，以及基于知识蒸馏的轻量化模型以实现高效评估。

实验结果

研究问题

• RQ1 从基于规则的系统到神经网络系统，机器翻译评估方法经历了怎样的演变？
• RQ2 基于参考译文与无参考译文评估在机器翻译中各自的优势与局限是什么？
• RQ3 如何通过元评估技术评估人工标注与自动指标的可靠性？
• RQ4 预训练语言模型在多大程度上提升了自动指标与人类判断之间的一致性？
• RQ5 知识蒸馏技术能否有效减小模型规模，同时保持自动评估指标的性能？

主要发现

• 无参考译文评估方法因在缺乏参考译文的低资源场景中更具实用性而受到广泛关注。
• 元评估技术显著提升了对人工标注与自动指标性能可靠性的信心，能够有效检测偏差与不一致性。
• 预训练语言模型显著提高了自动指标与人类判断之间的一致性，尤其在复杂语言现象中表现突出。
• 知识蒸馏技术可构建轻量化、高效的评估模型，在降低计算成本的同时保持高性能。
• 基于任务的评估通过测量下游任务（如问答或摘要生成）的表现，提供了更全面的翻译质量评估。
• 尽管技术不断进步，但在多样领域与语言对之间保持鲁棒性与泛化能力仍面临挑战。