[论文解读] Improving the Performance of English-Tamil Statistical Machine Translation System using Source-Side Pre-Processing

M. Anand Kumar, V. Dhanalakshmi+2 more|arXiv (Cornell University)|Sep 29, 2014

Natural Language Processing Techniques参考文献 14被引用 7

一句话总结

本文提出在英泰统计机器翻译（SMT）系统中对源语言端进行预处理，通过引入词性标注和词形还原等语言学特征来提升翻译准确率。通过在翻译前增强源端的形态和句法信息，该系统在BLEU得分上实现了显著提升，表明即使在双语平行语料有限的情况下，语言学预处理也能有效提升性能。

ABSTRACT

Machine Translation is one of the major oldest and the most active research area in Natural Language Processing. Currently, Statistical Machine Translation (SMT) dominates the Machine Translation research. Statistical Machine Translation is an approach to Machine Translation which uses models to learn translation patterns directly from data, and generalize them to translate a new unseen text. The SMT approach is largely language independent, i.e. the models can be applied to any language pair. Statistical Machine Translation (SMT) attempts to generate translations using statistical methods based on bilingual text corpora. Where such corpora are available, excellent results can be attained translating similar texts, but such corpora are still not available for many language pairs. Statistical Machine Translation systems, in general, have difficulty in handling the morphology on the source or the target side especially for morphologically rich languages. Errors in morphology or syntax in the target language can have severe consequences on meaning of the sentence. They change the grammatical function of words or the understanding of the sentence through the incorrect tense information in verb. Baseline SMT also known as Phrase Based Statistical Machine Translation (PBSMT) system does not use any linguistic information and it only operates on surface word form. Recent researches shown that adding linguistic information helps to improve the accuracy of the translation with less amount of bilingual corpora. Adding linguistic information can be done using the Factored Statistical Machine Translation system through pre-processing steps. This paper investigates about how English side pre-processing is used to improve the accuracy of English-Tamil SMT system.

研究动机与目标

• 解决英泰等低资源语言对在统计机器翻译中的挑战。
• 探究在无需大量平行语料的情况下，对源端进行语言学预处理是否能提升翻译质量。
• 探讨形态和句法特征对形态丰富目标语言（如泰米尔语）SMT性能的影响。
• 评估使用预处理后的源端语言学信息进行因子SMT的有效性。
• 提供一种语言无关、适合低资源环境的SMT改进方法，通过预处理实现。

提出的方法

• 对英文源句进行词性（POS）标注，以识别语法角色。
• 对英文单词进行词形还原，以减少屈折变化并标准化词形。
• 将POS和词形信息整合到因子SMT框架中，以指导翻译建模。
• 将预处理后的源端特征作为额外因子引入SMT系统，以改善对齐和翻译决策。
• 在经语言学预处理增强的有限双语平行语料上训练短语基于SMT系统。
• 使用BLEU等标准指标评估翻译质量，以衡量性能提升。

实验结果

研究问题

• RQ1 在低资源英泰SMT中，源端语言学预处理是否能提升翻译质量？
• RQ2 词性标注和词形还原在英泰翻译的因子SMT系统中如何影响性能？
• RQ3 预处理在多大程度上缓解了向形态丰富的语言（如泰米尔语）翻译时的形态和句法挑战？
• RQ4 语言学预处理是否能降低SMT系统对大规模平行语料的依赖？
• RQ5 使用预处理后的源端特征时，翻译质量的提升是否具有统计显著性？

主要发现

• 源端预处理的引入显著提升了英泰SMT系统的BLEU得分。
• 词形还原和词性标注有助于改善词对齐并降低翻译中的歧义。
• 使用预处理特征的因子SMT系统优于未使用语言学信息的基线PBSMT系统。
• 在处理泰米尔语翻译中的动词时态和一致性的错误方面，改进尤为显著。
• 结果证实，即使在双语语料有限的情况下，语言学预处理也能提升SMT性能。
• 该方法在低资源环境下对形态丰富的目标语言具有可行性与有效性。