[论文解读] HUME: Human UCCA-Based Evaluation of Machine Translation

Alexandra Birch, Omri Abend+2 more|arXiv (Cornell University)|Jun 30, 2016

Natural Language Processing Techniques参考文献 21被引用 8

一句话总结

HUME 是一种用于机器翻译的人工评估框架，通过使用通用概念认知标注（UCCA）框架，将源句中的语义单元与其翻译中的对应部分进行比较，以评估翻译质量。该方法在四种语言对中实现了高标注者间一致性，并与人类充分性评分具有强相关性，为传统句子级或 n-gram 基准度量提供了一种细粒度、基于语义的替代方案。

ABSTRACT

Human evaluation of machine translation normally uses sentence-level measures such as relative ranking or adequacy scales. However, these provide no insight into possible errors, and do not scale well with sentence length. We argue for a semantics-based evaluation, which captures what meaning components are retained in the MT output, thus providing a more fine-grained analysis of translation quality, and enabling the construction and tuning of semantics-based MT. We present a novel human semantic evaluation measure, Human UCCA-based MT Evaluation (HUME), building on the UCCA semantic representation scheme. HUME covers a wider range of semantic phenomena than previous methods and does not rely on semantic annotation of the potentially garbled MT output. We experiment with four language pairs, demonstrating HUME's broad applicability, and report good inter-annotator agreement rates and correlation with human adequacy scores.

研究动机与目标

• 解决句子级人工 MT 评估的局限性，如可扩展性差和错误定位能力不足。
• 提供一种基于语义的评估方法，以捕捉保留的语义成分，并支持针对性的系统改进。
• 开发一种人工评估方法，避免对可能混乱的机器翻译输出进行标注。
• 减少对参考译文的依赖，因为参考译文可能使标注者产生偏见并限制评估的有效性。
• 利用源句中的语义单元，实现高效、可靠且可扩展的人工翻译质量评估。

提出的方法

• HUME 使用 UCCA 语义表示框架，将源句分解为语义单元，如动词论元、名词结构和话语连接词。
• 标注者在不需对翻译本身进行语义标注的前提下，评估每个语义单元在翻译中的质量。
• 使用自动的词级对齐作为导航辅助工具，使标注者在评估过程中能够通过心理校正来处理不匹配问题。
• 该方法避免因不同解释导致的介词短语附着或动词修饰语结构差异而受到惩罚，从而防止对齐方法中可能出现的结果扭曲。
• 评估由双语标注者直接比较源句与翻译完成，无需参考译文。
• 通过测量标注者间一致性以及与直接充分性评分的相关性，验证其可靠性和有效性。

实验结果

研究问题

• RQ1 基于源句语义单元的人工评估方法是否能在多种语言对中实现高标注者间一致性？
• RQ2 与句子级充分性评分相比，HUME 是否能提供更好的错误定位能力以及更细粒度的翻译质量洞察？
• RQ3 HUME 在处理系词从句、名词性论元结构和话语连接词等语义现象方面，与 HMEANT 相比表现如何？
• RQ4 与依赖参考译文的评估方法相比，HUME 在多大程度上减少了参考译文带来的偏见？
• RQ5 HUME 是否能高效地应用于多种语言对，而无需为每种翻译进行特定的语义标注？

主要发现

• HUME 在四种语言对（英语–捷克语、德语、波兰语和罗马尼亚语）中均实现了高标注者间一致性，表明标注具有可靠性。
• 该方法与直接的人工充分性评估表现出强相关性，验证了其作为质量代理指标的有效性。
• HUME 在捕捉系词从句（21.7% 的句子）、名词性论元结构（48.7%）和话语连接词（56%）等语义现象方面优于 HMEANT，而 HMEANT 忽视了这些现象。
• 通过避免对翻译进行标注并依赖源端语义单元，HUME 降低了因机器翻译输出中句法或语义错误导致误判的风险。
• 利用自动对齐作为导航辅助，并辅以标注者的心理校正，有效缓解了参考译文与翻译之间结构差异带来的问题。
• HUME 的设计避免了参考译文带来的偏见，使其适用于评估改写或非字面翻译，而这类翻译在传统方法中往往会被错误惩罚。