[论文解读] A Hybrid Morpheme-Word Representation for Machine Translation of Morphologically Rich Languages

Minh-Thang Luong, Preslav Nakov+1 more|arXiv (Cornell University)|Nov 19, 2019

Natural Language Processing Techniques参考文献 27被引用 43

一句话总结

本文提出一种语言无关的混合形态素-单词 SMT 模型，使用具有词边界感知的形态素级翻译，结合双语言模型和短语表合并，以提升英语-芬兰语翻译。

ABSTRACT

We propose a language-independent approach for improving statistical machine translation for morphologically rich languages using a hybrid morpheme-word representation where the basic unit of translation is the morpheme, but word boundaries are respected at all stages of the translation process. Our model extends the classic phrase-based model by means of (1) word boundary-aware morpheme-level phrase extraction, (2) minimum error-rate training for a morpheme-level translation model using word-level BLEU, and (3) joint scoring with morpheme- and word-level language models. Further improvements are achieved by combining our model with the classic one. The evaluation on English to Finnish using Europarl (714K sentence pairs; 15.5M English words) shows statistically significant improvements over the classic model based on BLEU and human judgments.

研究动机与目标

• 推动在不使用语言特定工具的情况下改进对形态丰富语言的 SMT。
• 在解码过程中引入形态素级翻译单元，同时尊重词边界。
• 通过双重形态素标记语言模型与单词标记语言模型并在词级进行 MERT 优化来增强解码。
• 开发并评估将基于形态素的翻译表与基于单词的翻译表合并的方法。
• 在大规模 Europarl 数据上的英语→芬兰语任务中展示基于 BLEU 和人工评估的改进。

提出的方法

• 采用基于 Morfessor 的无监督形态素分析器来生成 PRE、STM、SUF 令牌。
• 实现具备词边界感知的形态素级短语提取，只要跨越不超过七个单词就可扩展到七个以上的形态素令牌。
• 在训练过程中通过将形态素令牌输出转换为单词序列以进行 BLEU 计算，在词标记级别执行 MERT。
• 引入双重语言模型（形态素标记 LM 与单词标记 LM），在解码时同时使用两者进行评分。
• 通过插值风格的方法以及一种保持概率完整性的新合并方法，将来自形态素标记和单词标记输入的两个短语表合并并归一化。
• 评估一个将 PT_m 和 PT_w→m 合并为 PT_m+phr 的双重翻译模型，并与基线进行比较。

实验结果

研究问题

• RQ1 具备词边界感知的形态素级翻译能否在形态丰富语言上超越标准的基于单词的 SMT？
• RQ2 在解码中同时引入形态素标记 LM 与单词标记 LM 是否会提升对形态丰富目标语言的处理？
• RQ3 将形态素标记和单词标记翻译的短语表合并是否比单系统 SMT 提供更多提升？
• RQ4 形态学增强与训练数据规模如何在提高英语→芬兰语翻译质量方面互动？

主要发现

• 基于形态素的改进相对于形态素基线在 BLEU 上有提升，调优（在词级进行 MERT）以及拼写短语与语言模型的组合带来最大提升。
• 完整系统具备形态素边界、双重语言模型和短语表合并，BLEU 14.82，m-BLEU 55.64，优于两种基线系统（词基线 BLEU 14.58，m-BLEU 53.05；形态素基线 BLEU 14.08，m-BLEU 55.26）。
• 基于插值的合并方法和 ourMethod 合并方式显著优于仅形态素的基线，其中 ourMethod 在全数据集上实现最高的 BLEU 增益（比 m-system 高 0.74 点）。
• 人工评估偏好所提出的系统胜过 m-system 与 w-system，在成对比较中具有统计显著性偏好。
• 分析表明翻译常接近参考词形，表明改进超出 BLEU 分数具有实际意义。