[论文解读] Fine-grained evaluation of Quality Estimation for Machine translation based on a linguistically-motivated Test Suite

Eleftherios Avramidis, Vivien Macketanz+2 more|arXiv (Cornell University)|Oct 16, 2019

Natural Language Processing Techniques参考文献 13被引用 9

一句话总结

本文提出了一套基于语言学动机的测试集，以实现对机器翻译中句子级质量估计（QE）系统的细粒度评估。通过将错误划分为14种语言现象，并按类别测量QE系统的表现，研究发现没有一个系统在所有错误类型上均优于其他系统，这凸显了针对特定错误类型进行评估在识别系统优势与劣势方面的价值。

ABSTRACT

We present an alternative method of evaluating Quality Estimation systems, which is based on a linguistically-motivated Test Suite. We create a test-set consisting of 14 linguistic error categories and we gather for each of them a set of samples with both correct and erroneous translations. Then, we measure the performance of 5 Quality Estimation systems by checking their ability to distinguish between the correct and the erroneous translations. The detailed results are much more informative about the ability of each system. The fact that different Quality Estimation systems perform differently at various phenomena confirms the usefulness of the Test Suite.

研究动机与目标

• 解决机器翻译质量估计（QE）中缺乏语言学指导评估的问题。
• 开发一个包含14种语言错误类别的受控测试集，以实现对QE系统的细粒度评估。
• 评估不同QE系统在特定语言现象上的表现，而非依赖总体得分。
• 通过按错误类型分析性能，提供对现有QE系统比较优势与劣势的洞察。

提出的方法

• 测试集由专业语言学家和翻译人员构建，聚焦于源自MQM分类体系的14种错误类别，并进一步扩展为子类别。
• 为每种错误类型创建范例，源句设计用于隔离特定的语言现象。
• 使用机器翻译系统生成翻译，并应用正则表达式自动将翻译标记为“通过”或“失败”，基于其正确性。
• 通过母语者和专业翻译人员对标签进行验证，以确保准确性。
• 评估了五个QE系统在区分各类别中正确与错误翻译方面的能力。
• 按错误类型测量性能，并在类别间平均计算，以避免数据不平衡带来的偏差。

实验结果

研究问题

• RQ1 不同QE系统在特定语言错误类别上的表现如何，而非仅依赖总体得分？
• RQ2 哪些语言现象对当前QE系统最具挑战性，且不同系统之间的表现差异如何？
• RQ3 基于语言学动机的测试集能否揭示原本表现相近的QE系统之间的互补优势？
• RQ4 测试集中错误类型的分布在多大程度上影响对整体QE性能的解读？

主要发现

• 没有一个QE系统在所有错误类别中均优于其他系统；B13、A17-basic和A17-full各自在五个不同的错误类型中取得最高分。
• B13在“未来时 II 虚拟式 II”时态类别中表现最佳，准确率达78.0%；而A17-basic在歧义性（73%）和复合词（76.9%）方面表现突出。
• A17-full在动词类型上表现最佳，特别是在反身动词和及物动词结构中，准确率分别达到61.2%和68.7%。
• 依赖句法分析的系统（如B13、A17）在长距离依存关系任务上表现更强，而缺乏句法分析的B17在此方面表现较差。
• 尽管整体表现强劲，A17_full在动词时态上的表现相对欠佳，表明整体指标与细粒度错误处理能力之间存在不匹配。
• B17在否定情态动词上的准确率达70.3%，为异常高分，表明其在特定错误类型上具有出人意料的鲁棒性。