[论文解读] A case study on English-Malayalam Machine Translation

S Sreelekha, Pushpak Bhattacharyya|arXiv (Cornell University)|Feb 27, 2017

Natural Language Processing Techniques参考文献 3被引用 4

一句话总结

本文对英语-马拉雅拉姆语和马拉雅拉姆语-英语翻译中的统计机器翻译（SMT）与基于规则的机器翻译（RBMT）进行了比较案例研究。作者开发了短语基于的SMT系统，并将其与RBMT系统进行对比评估，发现SMT整体上优于RBMT，其中英语到马拉雅拉姆语的SMT表现优于其反向，而马拉雅拉姆语到英语的RBMT则优于英语到马拉雅拉姆语的RBMT。研究强调了形态处理在提升SMT准确率方面的重要性。

ABSTRACT

In this paper we present our work on a case study on Statistical Machine Translation (SMT) and Rule based machine translation (RBMT) for translation from English to Malayalam and Malayalam to English. One of the motivations of our study is to make a three way performance comparison, such as, a) SMT and RBMT b) English to Malayalam SMT and Malayalam to English SMT c) English to Malayalam RBMT and Malayalam to English RBMT. We describe the development of English to Malayalam and Malayalam to English baseline phrase based SMT system and the evaluation of its performance compared against the RBMT system. Based on our study the observations are: a) SMT systems outperform RBMT systems, b) In the case of SMT, English - Malayalam systems perform better than that of Malayalam - English systems, c) In the case RBMT, Malayalam to English systems are performing better than English to Malayalam systems. Based on our evaluations and detailed error analysis, we describe the requirements of incorporating morphological processing into the SMT to improve the accuracy of translation.

研究动机与目标

• 比较统计机器翻译（SMT）与基于规则的机器翻译（RBMT）在英语-马拉雅拉姆语和马拉雅拉姆语-英语翻译中的表现。
• 评估英语到马拉雅拉姆语与马拉雅拉姆语到英语SMT系统之间的性能差异。
• 研究英语到马拉雅拉姆语与马拉雅拉姆语到英语RBMT系统之间的性能差距。
• 识别在英语与马拉雅拉姆语之间翻译时面临的主要挑战，特别是与形态复杂性相关的问题。
• 探讨将形态处理整合到SMT系统中以提高翻译准确性的必要性。

提出的方法

• 使用平行单语语料和并行双语语料，为英语到马拉雅拉姆语和马拉雅拉姆语到英语翻译开发短语基于的SMT系统。
• 利用针对马拉雅拉姆语丰富屈折形态特征量身定制的句法和形态规则，实现基于规则的机器翻译系统。
• 使用BLEU分数对SMT和RBMT系统的翻译质量进行定量评估。
• 进行详细的错误分析，以识别翻译输出中反复出现的问题，特别是与形态不匹配相关的问题。
• 从三个比较维度评估系统性能：SMT与RBMT对比、英语到马拉雅拉姆语SMT与马拉雅拉姆语到英语SMT对比、英语到马拉雅拉姆语RBMT与马拉雅拉姆语到英语RBMT对比。
• 识别语言挑战，如词序差异和形态复杂性，作为影响翻译质量的关键因素。

实验结果

研究问题

• RQ1 SMT与RBMT系统在英语-马拉雅拉姆语和马拉雅拉姆语-英语翻译中的表现如何比较？
• RQ2 为何英语到马拉雅拉姆语的SMT系统表现优于马拉雅拉姆语到英语的SMT系统？
• RQ3 为何马拉雅拉姆语到英语的RBMT系统表现优于英语到马拉雅拉姆语的RBMT系统？
• RQ4 在英语与马拉雅拉姆语之间翻译时，主要的语言挑战是什么，特别是形态处理方面？
• RQ5 如何将形态处理整合到SMT中以提高翻译准确性？

主要发现

• SMT系统在两个翻译方向上均持续优于RBMT系统。
• 英语到马拉雅拉姆语的SMT系统表现优于马拉雅拉姆语到英语的SMT系统，表明SMT性能存在方向不对称性。
• 马拉雅拉姆语到英语的RBMT系统表现优于英语到马拉雅拉姆语的RBMT系统，表明基于规则的翻译存在方向偏差。
• 错误分析表明，马拉雅拉姆语的形态复杂性，尤其是屈折形态，是SMT系统中翻译错误的主要来源。
• 本研究识别出将形态处理整合到SMT系统中，是提升英语-马拉雅拉姆语这类低资源、形态丰富的语言对SMT准确性的关键需求。
• SMT与RBMT系统之间的性能差距凸显了数据驱动方法在处理复杂形态结构方面的优势。