[论文解读] HOPE: A Task-Oriented and Human-Centric Evaluation Framework Using Professional Post-Editing Towards More Effective MT Evaluation

Serge Gladkoff, Lifeng Han|arXiv (Cornell University)|Dec 27, 2021

Natural Language Processing Techniques被引用 4

一句话总结

HOPE 是一种面向任务、以人为本的机器翻译评估框架，通过使用专业校对标注来评估机器翻译质量，重点关注‘足够好’的输出。该框架采用几何级数评分模型，对8种关键错误类型施加非线性递增的错误扣分点，实现了更高的评分者间一致性，评估速度更快，并与人类感知及校对工作量高度一致——该方法在英语-罗马尼亚语营销和商务文本上得到验证。

ABSTRACT

Traditional automatic evaluation metrics for machine translation have been widely criticized by linguists due to their low accuracy, lack of transparency, focus on language mechanics rather than semantics, and low agreement with human quality evaluation. Human evaluations in the form of MQM-like scorecards have always been carried out in real industry setting by both clients and translation service providers (TSPs). However, traditional human translation quality evaluations are costly to perform and go into great linguistic detail, raise issues as to inter-rater reliability (IRR) and are not designed to measure quality of worse than premium quality translations. In this work, we introduce HOPE, a task-oriented and human-centric evaluation framework for machine translation output based on professional post-editing annotations. It contains only a limited number of commonly occurring error types, and use a scoring model with geometric progression of error penalty points (EPPs) reflecting error severity level to each translation unit. The initial experimental work carried out on English-Russian language pair MT outputs on marketing content type of text from highly technical domain reveals that our evaluation framework is quite effective in reflecting the MT output quality regarding both overall system-level performance and segment-level transparency, and it increases the IRR for error type interpretation. The approach has several key advantages, such as ability to measure and compare less than perfect MT output from different systems, ability to indicate human perception of quality, immediate estimation of the labor effort required to bring MT output to premium quality, low-cost and faster application, as well as higher IRR. Our experimental data is available at \url{https://github.com/lHan87/HOPE}.

研究动机与目标

• 解决传统机器翻译评估指标的局限性，这些指标缺乏语义焦点，且与人类判断的相关性不足。
• 克服标准人工评估方法（如MQM）成本高、复杂度高、评分者间一致性低的问题。
• 开发一种可扩展的、面向任务的评估框架，专为现实工业场景中子高端、‘足够好’质量的机器翻译输出而设计。
• 在不追踪过多语言细节的前提下，实现对校对工作量和人类对翻译质量感知的准确估计。
• 在保持与专业校对实践高度一致的同时，提高评分者间一致性并缩短评估时间。

提出的方法

• 设计一组与机器翻译校对相关的8种最小化错误类型：专有名词、影响程度、必要适应性、术语使用、语法、准确性、风格和校对。
• 实施一种几何级数评分模型，使错误扣分点（EPPs）随错误严重程度非线性增加，以反映真实的校对工作量。
• 在专业校对过程中或之后应用该框架，使用标注过的译文作为评估输入。
• 采用段落级评分，以实现透明度，并支持不同机器翻译引擎之间的系统级比较。
• 对评估者进行有限错误类别的培训，以降低学习曲线并提高一致性。
• 在两个任务上验证该框架：EN→RU营销内容（111个段落）和商务领域文本（3,339个词），使用Google Translate和DeepL作为模型。

实验结果

研究问题

• RQ1 一个最小化、以错误类型为核心的评估框架，是否能实现比传统MQM风格方法更高的评分者间一致性？
• RQ2 几何级数评分模型在多大程度上反映了真实的校对工作量和人类对质量的感知？
• RQ3 HOPE框架在多大程度上与人类判断相关，尤其在技术与营销领域中‘足够好’质量的机器翻译输出方面？
• RQ4 该框架是否能够以低成本、快速地应用，同时仍提供透明、可操作的反馈以改进机器翻译系统？
• RQ5 该框架是否能有效区分不同机器翻译系统在非高端质量输出上的性能差异？

主要发现

• HOPE框架在错误类型解释方面表现出极高的评分者间一致性（IRR），显著优于传统方法。
• 几何级数评分模型有效反映了翻译错误的严重程度，并与实际校对工作量高度相关。
• 与完整的MQM风格评估相比，评估时间显著缩短，同时在段落层面保持了透明度。
• 该框架成功测量并比较了不同系统输出的翻译质量，即使输出未达到高端质量标准。
• 在英语-罗马尼亚语营销和商务文本上的实验结果证实，HOPE与人类感知一致，并为机器翻译改进提供了可操作的洞察。
• 数据集和代码已公开发布于 https://github.com/lHan87/HOPE，支持可复现性与进一步研究。