[论文解读] Can Your Context-Aware MT System Pass the DiP Benchmark Tests? : Evaluation Benchmarks for Discourse Phenomena in Machine Translation

Prathyusha Jwalapuram, Barbara Rychalska+2 more|arXiv (Cornell University)|Apr 30, 2020

Natural Language Processing Techniques参考文献 41被引用 5

一句话总结

本文提出了DiP基准，这是首个针对机器翻译中话语现象的标准化评估框架，聚焦回指、词汇一致性、连贯性/可读性以及话语连接词。通过自动提取的测试集与人工标注的评估指标，研究发现当前最先进的上下文感知神经机器翻译（NMT）模型在不同语言间并未一致提升话语层面的翻译质量，挑战了上下文能超越BLEU分数提升翻译质量的假设。

ABSTRACT

Despite increasing instances of machine translation (MT) systems including contextual information, the evidence for translation quality improvement is sparse, especially for discourse phenomena. Popular metrics like BLEU are not expressive or sensitive enough to capture quality improvements or drops that are minor in size but significant in perception. We introduce the first of their kind MT benchmark datasets that aim to track and hail improvements across four main discourse phenomena: anaphora, lexical consistency, coherence and readability, and discourse connective translation. We also introduce evaluation methods for these tasks, and evaluate several baseline MT systems on the curated datasets. Surprisingly, we find that existing context-aware models do not improve discourse-related translations consistently across languages and phenomena.

研究动机与目标

• 解决上下文感知机器翻译系统缺乏标准化、聚焦话语的评估基准的问题。
• 识别并量化超越BLEU分数的翻译质量改进，特别是针对核心指代和连贯性等话语层面现象。
• 评估上下文感知NMT模型是否在多种语言对和话语现象中一致提升翻译质量。
• 提供公开、可重用的基准数据集与评估协议，以支持MT系统之间的系统性、可复现比较。

提出的方法

• 利用语言规则与NLP流水线，从大规模单语和双语语料库中自动提取包含话语现象（如回指、连贯性、词汇一致性、话语连接词）的句子对。
• 通过过滤与验证，为四种话语现象构建高质量、语言特定的测试集，确保精确性与相关性。
• 设计基于人工标注的评估协议，采用准确率、遗漏率、同义词使用率与误译率等指标，评估话语层面的翻译质量。
• 在法语-英语、德语-英语与俄语-英语语对上，对五种NMT模型（Sen2Sen、Concat、Anaph、Han与San）在DiP测试集上进行训练与评估。
• 通过人工判断验证自动评估得分，确保其与人类对翻译质量的感知保持一致。
• 公开发布该框架与数据集，以支持持续的基准测试与模型评估。

实验结果

研究问题

• RQ1 上下文感知NMT模型是否在多个语言对中一致提升回指与连贯性等话语现象的翻译质量？
• RQ2 话语现象的自动评估指标在评估翻译质量时，与人工判断相比表现如何？
• RQ3 BLEU分数在多大程度上与话语层面的翻译质量相关，特别是在连贯性与词汇一致性方面？
• RQ4 为何一些最先进的上下文感知模型在特定语言对中，尽管BLEU分数较高，却在某些话语现象上表现不佳？
• RQ5 自动提取的测试集是否能保持足够的质量与相关性，以作为话语导向机器翻译评估的可靠基准？

主要发现

• 上下文感知NMT模型并未一致提升话语层面的翻译质量；例如，Anaph模型在法语-英语语对中回指翻译任务排名最后，尽管其BLEU分数较高。
• San模型在法语-英语与德语-英语语对的连贯性与可读性方面表现最佳，但在其他话语任务中表现较差，表明其性能具有任务特异性。
• 在德语-英语语对中，San模型在话语连接词翻译中的准确率为52.29%，而Sen2Sen基线模型为50.46%，尽管架构更复杂，但提升微乎其微。
• 在俄语-英语语对中，Sen2Sen模型在词汇一致性和连贯性方面优于上下文感知模型，准确率分别为40.17%、39.32%与33.34%。
• BLEU分数与话语层面表现之间存在显著脱节：法语-英语语对中更高的BLEU分数并未与词汇一致性或话语连接词的更好表现相关。
• 该基准揭示，为某一语言对（如英-俄）训练的模型在其他语言对上泛化能力差，凸显了语言特异性调优与评估的必要性。