[论文解读] ACES: Translation Accuracy Challenge Sets for Evaluating Machine Translation Metrics

Chantal Amrhein, Nikita Moghe+1 more|arXiv (Cornell University)|Oct 27, 2022

Natural Language Processing Techniques被引用 9

一句话总结

ACES 是一个涵盖 146 种语言对的 36,476 个翻译样本的综合基准，旨在评估机器翻译指标在准确性错误上的表现。它揭示了现有指标的关键缺陷——过度依赖表面层面的参考重叠、对源语言上下文利用不足，以及多语言嵌入的局限性，并为未来指标开发提出建议：采用集成方法、加强源语言建模，以及引入显式的语言特定特征。

ABSTRACT

As machine translation (MT) metrics improve their correlation with human judgement every year, it is crucial to understand the limitations of such metrics at the segment level. Specifically, it is important to investigate metric behaviour when facing accuracy errors in MT because these can have dangerous consequences in certain contexts (e.g., legal, medical). We curate ACES, a translation accuracy challenge set, consisting of 68 phenomena ranging from simple perturbations at the word/character level to more complex errors based on discourse and real-world knowledge. We use ACES to evaluate a wide range of MT metrics including the submissions to the WMT 2022 metrics shared task and perform several analyses leading to general recommendations for metric developers. We recommend: a) combining metrics with different strengths, b) developing metrics that give more weight to the source and less to surface-level overlap with the reference and c) explicitly modelling additional language-specific information beyond what is available via multilingual embeddings.

研究动机与目标

• 为应对在法律和医疗等高风险领域中，对机器翻译指标在检测准确性错误方面稳健评估的日益增长的需求。
• 创建一个多样化且公开可用的基准，涵盖从词级扰动到语篇级和基于知识的错误在内的 68 种现象。
• 在句子级别准确性上评估基于参考和无参考的指标表现，重点关注其检测细微但关键翻译错误的能力。
• 识别现有指标的局限性，特别是其对表面层面参考重叠的过度依赖以及对源语言上下文的利用不足。
• 通过在多种语言对和错误类型上的实证分析，为未来指标开发提供可操作的建议。

提出的方法

• 作者整理了 ACES 作为挑战集，包含 146 种语言对的 36,476 个样本，涵盖 68 种现象，这些现象源自 MQM 分类体系，并新增了如现实世界知识违背和错误语言输出等错误类别。
• 样本通过自动方法（如对抗性扰动、对比性 MT 测试集）和人工标注相结合的方式生成，人工标注样本聚焦于复杂现象，如语篇级错误和幻觉。
• 该基准包含合成对抗性样本以及从相关 NLP 任务（如自然语言推理、释义检测）中重新利用的测试集，以避免数据泄露并确保泛化能力。
• 使用句子级别输出在 ACES 上评估指标，性能分析在现象和语言对两个层面进行，以检测系统性弱点。
• 分析特别考察了基于参考的指标在多大程度上依赖于与参考的表面重叠，其对源语言上下文的利用程度，以及多语言嵌入对指标性能的影响。
• 作者基于语言覆盖范围和输入可用性（如源输入）施加约束，以进行细粒度分析，重点关注高资源和中资源语言。

实验结果

研究问题

• RQ1 基于参考的指标在评估翻译准确性时，多大程度上考虑了源句上下文？
• RQ2 基于参考的指标在多大程度上依赖于与参考的表面重叠，而非语义或结构准确性？
• RQ3 使用多语言嵌入是否改善或损害了 MT 评估指标在准确性错误上的表现？
• RQ4 哪些错误类型对当前指标最具挑战性？在不同语言对中是否存在一致的性能下降？
• RQ5 结合不同优势的集成方法是否能提升对准确性错误的检测能力？

主要发现

• 没有单一指标在所有现象上表现最佳，表明指标性能高度依赖于错误类型和语言对。
• 许多基于参考的指标尽管可访问源句，却未能充分利用其内容，表明当前评估框架存在关键设计缺陷。
• 即使语义准确性受损，仍有相当大一部分基于参考的指标得分仍由与参考的表面重叠驱动。
• 使用多语言嵌入可能对指标性能产生不利影响，特别是在检测细微准确性错误方面。
• 结合不同优势（如结构、语义和源感知组件）的指标在多种错误类型上表现出更强的鲁棒性。
• 该基准揭示了指标在复杂现象（如语篇级错误和现实世界知识违背）上表现下降，凸显了对更复杂建模的迫切需求。