[论文解读] The Multi-Range Theory of Translation Quality Measurement: MQM scoring models and Statistical Quality Control

Arle Lommel, Serge Gladkoff+11 more|arXiv (Cornell University)|May 27, 2024

Natural Language Processing Techniques被引用 6

一句话总结

本文在 MQM 中引入线性和非线性评分模型（有校准与无校准两种）更新，并提出一个覆盖三个样本量区间的通用多区间翻译质量评估方法，主张对极小样本采用统计质量控制。

ABSTRACT

The year 2024 marks the 10th anniversary of the Multidimensional Quality Metrics (MQM) framework for analytic translation quality evaluation. The MQM error typology has been widely used by practitioners in the translation and localization industry and has served as the basis for many derivative projects. The annual Conference on Machine Translation (WMT) shared tasks on both human and automatic translation quality evaluations used the MQM error typology. The metric stands on two pillars: error typology and the scoring model. The scoring model calculates the quality score from annotation data, detailing how to convert error type and severity counts into numeric scores to determine if the content meets specifications. Previously, only the raw scoring model had been published. This April, the MQM Council published the Linear Calibrated Scoring Model, officially presented herein, along with the Non-Linear Scoring Model, which had not been published before. This paper details the latest MQM developments and presents a universal approach to translation quality measurement across three sample size ranges. It also explains why Statistical Quality Control should be used for very small sample sizes, starting from a single sentence.

研究动机与目标

• 使 MQM 2.0 评分模型正式化（线性原始、带校准的线性、带校准的非线性）。
• 引入一个覆盖三个样本量区间的通用多区间翻译质量评估理论。
• 倡导对极小样本实施统计质量控制，并概述校准对跨情境可比性的好处。
• 提供关于建立 MQM 评估系统的指南，包括错误类型学选择、评分参数和评分卡。

提出的方法

• 定义 MQM Core 和 MQM Full 的错误类型学，具有分层维度与严重性。
• 描述三种评分模型（线性原始、带校准的线性、带校准的非线性）及其校准过程。
• 解释评估词数（Evaluation Word Count, EWC）、参考词数（Reference Word Count, RWC）以及最大分值（Maximum Score Value, MSV）作为评分框架的组成部分。
• 给出错误类型罚分总计（Error Type Penalty Total, ETPT）、绝对罚分总计（Absolute Penalty Total, APT）、每词罚分总计（Per-Word Penalty Total, PWPT）、规范化罚分总计（Normed Penalty Total, NPT）以及质量分数（Quality Score, QS）的公式。
• 详细说明校准如何将原始分数映射到校准刻度，以及通过阈值的定义。
• 论证三种样本量区间的必要性，并将其与相应的统计质量控制方法联系起来。

实验结果

研究问题

• RQ1 MQM 评分如何扩展以支持不同样本量，同时保持可比性且易于人类理解？
• RQ2 在不同内容类型与服务水平下，适用的 MQM 评分模型（线性与非线性）及校准策略是什么？
• RQ3 在翻译质量评估中何时以及为什么应应用统计质量控制，尤其是针对非常小的样本？
• RQ4 应如何配置 MQM 评估系统（错误类型学选择、评分参数、抽样程序）以优化可靠性和可比性。

主要发现

• MQM 2.0 包含带校准的线性评分模型和带校准的非线性评分模型。
• 提出一种覆盖三个样本量区间的通用方法，解决小样本中的可靠性和可解释性挑战。
• 由于高度不确定性和分段层面低评注者间一致性，建议对非常小的样本（如单句）采用统计质量控制。
• 校准提高了分数在不同内容类型、客户和用例之间的可用性与可比性。
• 错误类型学（MQM Core 与 MQM Full）为将指标定制到特定情境提供了结构化的粒度。