[论文解读] Assessing Crosslingual Discourse Relations in Machine Translation

Karin Smith, Lucia Specia|arXiv (Cornell University)|Oct 7, 2018

Natural Language Processing Techniques参考文献 20被引用 4

一句话总结

本文提出了一种无需参考译文、基于源文本的评估方法，用于衡量机器翻译中跨语言话语关系的迁移，该方法利用跨语言话语嵌入和话语关系映射。相比标准指标，该方法通过衡量从源语言到目标语言的话语关系语义保留程度，实现了更优的性能，在78%的案例中，经人工校对的译文得分高于机器翻译输出，证明了其在实现真实、话语感知的机器翻译评估方面的潜力。

ABSTRACT

In an attempt to improve overall translation quality, there has been an increasing focus on integrating more linguistic elements into Machine Translation (MT). While significant progress has been achieved, especially recently with neural models, automatically evaluating the output of such systems is still an open problem. Current practice in MT evaluation relies on a single reference translation, even though there are many ways of translating a particular text, and it tends to disregard higher level information such as discourse. We propose a novel approach that assesses the translated output based on the source text rather than the reference translation, and measures the extent to which the semantics of the discourse elements (discourse relations, in particular) in the source text are preserved in the MT output. The challenge is to detect the discourse relations in the source text and determine whether these relations are correctly transferred crosslingually to the target language -- without a reference translation. This methodology could be used independently for discourse-level evaluation, or as a component in other metrics, at a time where substantial amounts of MT are online and would benefit from evaluation where the source text serves as a benchmark.

研究动机与目标

• 为解决基于参考译文的机器翻译评估方法的局限性，该方法限制评估仅针对单一标准译文，且忽略话语层面的语义。
• 开发一种基于源语文本话语关系语义保留程度的评估方法，无需依赖参考译文。
• 通过使用源文本作为话语层面正确性的基准，实现对在线机器翻译的大规模、实时评估。
• 通过捕捉显性话语关系的跨语言迁移，特别是通过话语连接词等词汇线索，改进机器翻译评估。
• 探索使用跨语言话语嵌入在上下文敏感的方式下建模跨语言语义等价性的可行性。

提出的方法

• 该方法使用话语解析器检测源语文本中的话语关系，并将话语连接词识别为特定关系（如“条件”、“目的”）的线索。
• 训练跨语言话语嵌入以捕捉法语（源语言）和英语（目标语言）之间多词话语连接词的语义等价性。
• 利用跨语言嵌入的似然得分来估计从源语言到目标语言正确转移话语关系的概率。
• 加权得分用于评估话语关系转移的正确性，结合嵌入相似度与话语关系映射。
• 模型将机器翻译输出与源语文本进行比较，而非与参考译文比较，以评估话语关系语义是否得以保留。
• 该评估方法应用于多个机器翻译系统（如RBMT1、Stanford、UEdin），其得分通过人工校对版本作为正确性的代理进行验证。

实验结果

研究问题

• RQ1 在不依赖参考译文的前提下，能否可靠地检测源语文本中的话语关系，并将其映射到目标语言的对应关系？
• RQ2 跨语言话语嵌入在多大程度上能够捕捉法语与英语等语言之间话语连接词的语义等价性？
• RQ3 所提出的方法在多大程度上能够区分机器翻译输出与人工校对版本在话语关系保留方面的表现？
• RQ4 当机器翻译输出与人类参考译文不同时，该模型是否会奖励那些保留话语语义的系统？
• RQ5 该模型在隐含话语关系与显式话语关系上的表现如何？在处理句间关系方面存在哪些局限性？

主要发现

• 在所评估的文档中，该方法在78%的案例中对人工校对译文的评分高于或等于机器翻译输出，表明其对话语层面改进具有敏感性。
• 规则基础的机器翻译系统（如RBMT1）在该方法下的表现优于标准评估，尤其体现在正确呈现话语连接词（如“so that”对应“pour que”）方面。
• 即使语法正确，若未能保留关键话语标记（如“to enable”或“so that”），系统仍会被惩罚，凸显了该模型对语义保真度的关注。
• 该模型识别出STANFORD和UEDIN系统遗漏了不定式结构“to enable”或“to make”，导致话语关系语义丢失，尽管其输出流畅度较高。
• 该方法与人类判断的相关性更高（Spearman等级相关系数 = 0.263），表明其与话语层面理解的对齐程度优于标准指标。
• 该方法揭示了人类参考译文通常隐式编码话语关系（如通过“to enable”），而这些关系在机器翻译中并不总是被保留，凸显了基于源文本评估的必要性。