[论文解读] Improving the Performance of Neural Machine Translation Involving Morphologically Rich Languages

Hans Krupakar, R. S. Milton|arXiv (Cornell University)|Dec 7, 2016

Topic Modeling参考文献 30被引用 12

一句话总结

本文在神经机器翻译之前对像泰米尔语这样的词形丰富的语言进行形态分割，以提升性能。通过在向量化前将词语拆分为词素，模型将词汇量减少了8倍，相较于基线RNNSearch模型，BLEU分数提升了7.05分，同时增强了注意力机制的有效性，并提高了人工评估的流畅性和恰当性。

ABSTRACT

The advent of the attention mechanism in neural machine translation models has improved the performance of machine translation systems by enabling selective lookup into the source sentence. In this paper, the efficiencies of translation using bidirectional encoder attention decoder models were studied with respect to translation involving morphologically rich languages. The English - Tamil language pair was selected for this analysis. First, the use of Word2Vec embedding for both the English and Tamil words improved the translation results by 0.73 BLEU points over the baseline RNNSearch model with 4.84 BLEU score. The use of morphological segmentation before word vectorization to split the morphologically rich Tamil words into their respective morphemes before the translation, caused a reduction in the target vocabulary size by a factor of 8. Also, this model (RNNMorph) improved the performance of neural machine translation by 7.05 BLEU points over the RNNSearch model used over the same corpus. Since the BLEU evaluation of the RNNMorph model might be unreliable due to an increase in the number of matching tokens per sentence, the performances of the translations were also compared by means of human evaluation metrics of adequacy, fluency and relative ranking. Further, the use of morphological segmentation also improved the efficacy of the attention mechanism.

研究动机与目标

• 为解决涉及像泰米尔语这样的词形丰富语言时神经机器翻译（NMT）性能较低的挑战。
• 通过在翻译前将复杂词语分割为词素，减少词汇量并提升模型泛化能力。
• 超越BLEU指标，通过人工评估流畅性、恰当性和相对排名，评估翻译质量。
• 探究形态分割是否能增强序列到序列模型中注意力机制的效果。
• 通过提出包含源端分割和未来目标端黏合的框架，实现词形丰富语言的端到端NMT。

提出的方法

• 采用带有注意力机制的双向LSTM编码器-解码器模型进行英-泰米尔语翻译。
• 使用Word2Vec嵌入表示英语和泰米尔语的词语，以改善向量表示。
• 在词语向量化之前，对泰米尔语词语进行形态分割，分解为构成性词素。
• 使用一个独立的单语泰米尔语语料库（567,772句话）进行UTF-8编码，以丰富词语向量的上下文。
• 使用来自新闻、圣经、字幕、旅游和文学来源的联合多语种语料库（197,792句话）进行模型训练。
• 通过BLEU、人工评估（流畅性、恰当性、排名）以及注意力机制行为分析来评估结果。

实验结果

研究问题

• RQ1 对像泰米尔语这样的词形丰富语言进行形态分割，是否能在BLEU分数和人工评估指标方面提升神经机器翻译性能？
• RQ2 形态分割在低资源环境下如何影响词汇量大小和模型泛化能力？
• RQ3 形态分割在多序列到序列模型中在多大程度上提升了注意力机制的有效性？
• RQ4 在词形复杂的语言翻译中，人工评估指标（如流畅性和恰当性）是否比BLEU提供更可靠的性能评估？
• RQ5 语料库多样性与领域特异性对词形丰富语言神经机器翻译模型鲁棒性有何影响？

主要发现

• 形态分割使目标词汇量减少了8倍，显著提升了模型效率和泛化能力。
• RNNMorph模型（经分割）相比基线RNNSearch模型（BLEU得分为4.84）实现了7.05的BLEU分数提升。
• 人工评估确认，RNNMorph模型在流畅性、恰当性和相对排名方面均优于基线模型，表明翻译质量更高。
• 分割后注意力机制更加有效，表现为对源句表示的选择性查找能力得到改善。
• 使用大规模单语泰米尔语语料库增强了词语向量的丰富性，并支持了目标端更好的语言建模。
• 尽管因分割导致平均句子长度增加，注意力机制仍能有效处理长序列，维持了高质量的翻译。