[论文解读] Has Machine Translation Achieved Human Parity? A Case for Document-level Evaluation

Samuel Läubli, Rico Sennrich+1 more|arXiv (Cornell University)|Aug 21, 2018

Natural Language Processing Techniques被引用 6

一句话总结

本文通过证明在评估整篇文档时，人类评估者显著更偏好专业人工翻译而非机器翻译，但评估孤立句子时则不然，挑战了神经机器翻译中人类水平表现的宣称。研究揭示，文档级上下文暴露了句子层面无法察觉的语篇层面错误——如词汇不一致和衔接性差——表明MT研究中亟需采用文档级评估。

ABSTRACT

Recent research suggests that neural machine translation achieves parity with professional human translation on the WMT Chinese--English news translation task. We empirically test this claim with alternative evaluation protocols, contrasting the evaluation of single sentences and entire documents. In a pairwise ranking experiment, human raters assessing adequacy and fluency show a stronger preference for human over machine translation when evaluating documents as compared to isolated sentences. Our findings emphasise the need to shift towards document-level evaluation as machine translation improves to the degree that errors which are hard or impossible to spot at the sentence-level become decisive in discriminating quality of different translation outputs.

研究动机与目标

• 调查人类评估者在评估整篇文档与孤立句子时，能否区分人工翻译与机器翻译。
• 评估标准评估协议中缺乏文档级上下文是否掩盖了人工翻译与机器翻译之间的质量差异。
• 评估专业译者在获得更广泛文本上下文时，是否能通过成对排序检测出人工翻译的更优质量。
• 探讨语篇层面现象（如词汇衔接与连贯性）在人类对翻译质量感知中起关键作用的假设。

提出的方法

• 开展了一项成对排序实验，使用专业译者作为评估者，分别在句子级和文档级单位上比较人工翻译与机器翻译。
• 采用受控评估协议，使用专业译者，避免众包以确保评估者的专业水平与一致性。
• 通过向评估者呈现完整文章（6–10个句子）来提供文档级上下文，使其能够评估文本连贯性、词汇一致性与语篇结构。
• 分别收集充分性与流利度判断，评估者以成对方式排序翻译，而非使用绝对量表。
• 分析句子级判断存在分歧但文档级判断明显偏好人工翻译的案例，识别出机器输出中的特定语篇层面错误。
• 在不同评估粒度间比较结果，以隔离上下文对人类翻译质量感知影响的差异。

实验结果

研究问题

• RQ1 文档级上下文是否提升了人类评估者识别人工翻译与机器翻译质量差异的能力？
• RQ2 语篇层面现象（如词汇衔接与连贯性）在文档级评估中是否比在句子级评估中更显著？
• RQ3 尽管神经机器翻译在流利度方面已具优势，为何流利度评估者对人工翻译的偏好强于充分性评估者？
• RQ4 像术语使用不一致或错误的语篇连接词等错误，在句子级层面可能被忽略，但在文档级层面为何会变得明显？
• RQ5 标准评估协议中缺乏文档级上下文，是否会导致对机器翻译达到人类水平的错误宣称？

主要发现

• 在评估整篇文档时，人类评估者对人工翻译的偏好在统计上显著高于机器翻译，尤其在充分性判断中表现明显。
• 即使在同一批评估者中，文档级评估中对人工翻译的偏好也强于句子级评估。
• 文档级评估揭示了机器翻译中的特定语篇层面错误，例如在不同句子中对专有名词的不一致翻译（如“微信移动汽车”与“推特移动汽车”或“微信移动”）。
• 流利度评估者对人工翻译的偏好强于充分性评估者，表明母语干扰或机器翻译中的直译倾向可能影响流利度感知。
• 在句子级判断存在分歧的案例中，文档级评估始终偏好人工翻译，表明上下文能暴露孤立状态下不可见的错误。
• 本研究证实，当前的句子级评估协议无法检测与文本连贯性及衔接性相关的质量差异，而这些因素对高质量翻译至关重要。