[论文解读] An Automatic Machine Translation Evaluation Metric Based on Dependency Parsing Model

Hui Yu, Xiaofeng Wu+3 more|arXiv (Cornell University)|Aug 9, 2015

Natural Language Processing Techniques参考文献 13被引用 9

一句话总结

本文提出 DPMF，一种新颖的机器翻译评估指标，通过利用最大熵依存分析模型来评估假设翻译与参考翻译之间的句法相似性，而无需依赖人工定义的子结构。通过在参考依存树上训练解析器，并使用生成的概率得分评估假设树——结合单字F值衡量词汇相似性——DPMF在WMT 2012–2014数据集的系统级评估中达到最先进性能，在句子级相关性方面与METEOR表现相当。

ABSTRACT

Most of the syntax-based metrics obtain the similarity by comparing the sub-structures extracted from the trees of hypothesis and reference. These sub-structures are defined by human and can't express all the information in the trees because of the limited length of sub-structures. In addition, the overlapped parts between these sub-structures are computed repeatedly. To avoid these problems, we propose a novel automatic evaluation metric based on dependency parsing model, with no need to define sub-structures by human. First, we train a dependency parsing model by the reference dependency tree. Then we generate the hypothesis dependency tree and the corresponding probability by the dependency parsing model. The quality of the hypothesis can be judged by this probability. In order to obtain the lexicon similarity, we also introduce the unigram F-score to the new metric. Experiment results show that the new metric gets the state-of-the-art performance on system level, and is comparable with METEOR on sentence level.

研究动机与目标

• 为解决依赖于人工定义子结构的句法导向机器翻译评估指标的局限性，这些指标无法完整表达树结构信息，且存在重复重叠计算问题。
• 开发一种自动评估指标，通过依存树生成而非子结构比较来评估句法相似性。
• 通过单字F值整合词汇相似性，以增强指标对词级对齐的捕捉能力。
• 在系统级机器翻译评估中实现最先进性能，并在句子级评估中取得具有竞争力的结果。

提出的方法

• 在参考翻译的依存树上训练基于最大熵的移位-归约依存解析器，以学习转移概率。
• 使用训练好的模型生成假设翻译的依存树，并计算其概率得分，该得分用作句法相似性的度量。
• 采用类似Softmax的函数对转移得分进行归一化，以避免零概率并确保概率估计的稳定性。
• 通过单字F值评估假设与参考之间的词汇相似性，增强指标对词汇重叠的敏感性。
• 将依存解析概率与F值结合，形成混合指标DPMF，用于最终评估。
• 使用Kendall’s τ相关系数评估句子级性能与人工判断的相关性。

实验结果

研究问题

• RQ1 在参考翻译上进行训练的依存解析模型，是否能有效评估假设翻译的句法质量，而无需依赖人工定义的子结构？
• RQ2 所提出的基于解析的指标在系统级评估中与BLEU、TER和METEOR等现有指标相比表现如何？
• RQ3 整合单字F值在多大程度上提升了指标捕捉词汇相似性及与人工判断整体相关性能力？
• RQ4 所提出的DPMF指标是否在多个WMT基准数据集的系统级评估中达到最先进性能？

主要发现

• DPMF在WMT 2012、WMT 2013和WMT 2014中均实现了系统级相关性的最先进水平，优于BLEU、TER和METEOR在多个语种对上的表现。
• 在WMT 2012中，DPMF相比最佳单一分解指标SEMPOS提升1.3分，并与最佳混合指标spede07_pP表现相当。
• 在WMT 2013中，DPMF的平均相关性比METEOR高出2.3分，在除fr-en外的所有语种对上均表现更优。
• 在WMT 2014中，DPMF相比最佳单一分解指标VERTA-W提升1.4分，并优于混合指标DISCOTK-PARTY。
• 在句子级评估中，DPMF在所有三个WMT数据集中与METEOR表现相当，且显著优于基础DPM指标。
• 将单字F值整合至DPMF显著提升了性能，证实其在捕捉词汇相似性方面的有效性。