[论文解读] Factored neural machine translation

Mercedes García Martínez|arXiv (Cornell University)|Mar 27, 2018

Natural Language Processing Techniques参考文献 16被引用 25

一句话总结

本文提出了一种分因子神经机器翻译（Factored Neural Machine Translation, FNMT）方法，将目标词分解为词素成分（词干和语言学因子），以提升神经机器翻译性能。通过显式建模词形变化，FNMT减少了未登录词（OOV）数量，并在低资源条件下显著提升了性能，尤其在词形丰富的语言中优于标准NMT和基于BPE的模型。

ABSTRACT

La diversite des langues complexifie la tâche de communication entre les humains a travers les differentes cultures. La traduction automatique est un moyen rapide et peu couteux pour simplifier la communication interculturelle. Recemment, laTraduction Automatique Neuronale (NMT) a atteint des resultats impressionnants. Cette these s'interesse a la Traduction Automatique Neuronale Factorise (FNMT) qui repose sur l'idee d'utiliser la morphologie et la decomposition grammaticale des mots (lemmes et facteurs linguistiques) dans la langue cible. Cette architecture aborde deux defis bien connus auxquelles les systemes NMT font face. Premierement, la limitation de la taille du vocabulaire cible, consequence de la fonction softmax, qui necessite un calcul couteux a la couche de sortie du reseau neuronale, conduisant a un taux eleve de mots inconnus. Deuxiemement, le manque de donnees adequates lorsque nous sommes confrontes a un domaine specifique ou une langue morphologiquement riche. Avec l'architecture FNMT, toutes les inflexions des mots sont prises en compte et un vocabulaire plus grand est modelise tout en gardant un cout de calcul similaire. De plus, de nouveaux mots non rencontres dans les donnees d'entrainement peuvent etre generes. Dans ce travail, j'ai developpe differentes architectures FNMT en utilisant diverses dependances entre les lemmes et les facteurs. En outre, j'ai ameliore la representation de la langue source avec des facteurs. Le modele FNMT est evalue sur differentes langues dont les plus riches morphologiquement. Les modeles a l'etat de l'art, dont certains utilisant le Byte Pair Encoding (BPE) sont compares avec le modele FNMT en utilisant des donnees d'entrainement de petite et de grande taille. Nous avons constate que les modeles utilisant les facteurs sont plus robustes aux conditions d'entrainement avec des faibles ressources. Le FNMT a ete combine avec des unites BPE permettant une amelioration par rapport au modele FNMT entrainer avec des donnees volumineuses. Nous avons experimente avec dfferents domaines et nous avons montre des ameliorations en utilisant les modeles FNMT. De plus, la justesse de la morphologie est mesuree a l'aide d'un ensemble de tests speciaux montrant l'avantage de modeliser explicitement la morphologie de la cible. Notre travail montre les bienfaits de l'applicationde facteurs linguistiques dans le NMT.

研究动机与目标

• 解决标准NMT因Softmax输出层限制而导致的未登录词处理能力不足问题。
• 提升在低资源及词形丰富语言设置下的翻译性能。
• 探究显式建模词形因子（词干与语言特征）如何增强NMT的泛化能力。
• 评估FNMT在不同训练数据规模和领域下的鲁棒性。
• 通过专用测试集衡量词形准确性，验证显式词形建模的优势。

提出的方法

• FNMT模型将目标词分解为词干和因子成分，将其视为独立的预测目标。
• 采用因子感知解码器，同时并行预测词干和词形因子。
• 将词性、性、数、格等语言学特征作为额外输入因子整合进模型。
• 将FNMT与字节对编码（Byte Pair Encoding, BPE）结合，以在大规模数据上进一步提升性能。
• 通过将输出词表分布到各因子组件，保持计算效率。
• 采用端到端训练方式，对词干和因子预测头均使用交叉熵损失函数。

实验结果

研究问题

• RQ1 在低资源训练条件下，FNMT相较于标准NMT和基于BPE的模型表现如何？
• RQ2 显式词形分解在多大程度上减少了OOV（未登录词）数量？
• RQ3 FNMT能否在不同领域和语言类型中实现更好的泛化能力，尤其是在词形丰富的语言中？
• RQ4 将BPE与FNMT结合后，对大规模数据集上的翻译质量有何影响？
• RQ5 通过专用测试集衡量，因子建模对词形准确性的提升效果如何？

主要发现

• FNMT模型在低资源训练场景中表现出更强的鲁棒性，优于标准NMT和基于BPE的模型。
• 通过显式建模词形变化，模型显著减少了未登录词数量。
• FNMT在土耳其语和芬兰语等词形极为复杂的语言上取得了更优性能。
• 将FNMT与BPE结合后，性能进一步提升，尤其在大规模训练数据上表现更佳。
• 专用词形测试集验证了FNMT在保持词形正确性方面优于标准NMT。
• 模型在多样化领域中展现出强大的泛化能力，表明其在不同语言和应用场景下的适应性。