[论文解读] Statistical Vs Rule Based Machine Translation; A Case Study on Indian Language Perspective

S Sreelekha|arXiv (Cornell University)|Aug 12, 2017

Natural Language Processing Techniques参考文献 5被引用 8

一句话总结

本研究对比了统计机器翻译（SMT）与基于规则的机器翻译（RBMT）在英语-印度语及印度语-印度语语言对中的表现，评估了五种配置。在有限训练数据上的详细错误分析表明，SMT在低资源印度语环境下持续优于RBMT，证明了SMT在小规模语料下对特定领域高质量翻译的优越性。

ABSTRACT

In this paper we present our work on a case study between Statistical Machien Transaltion (SMT) and Rule-Based Machine Translation (RBMT) systems on English-Indian langugae and Indian to Indian langugae perspective. Main objective of our study is to make a five way performance compariosn; such as, a) SMT and RBMT b) SMT on English-Indian langugae c) RBMT on English-Indian langugae d) SMT on Indian to Indian langugae perspective e) RBMT on Indian to Indian langugae perspective. Through a detailed analysis we describe the Rule Based and the Statistical Machine Translation system developments and its evaluations. Through a detailed error analysis, we point out the relative strengths and weaknesses of both systems. The observations based on our study are: a) SMT systems outperforms RBMT b) In the case of SMT, English to Indian language MT systmes performs better than Indian to English langugae MT systems c) In the case of RBMT, English to Indian langugae MT systems perofrms better than Indian to Englsih Language MT systems d) SMT systems performs better for Indian to Indian language MT systems compared to RBMT. Effectively, we shall see that even with a small amount of training corpus a statistical machine translation system has many advantages for high quality domain specific machine translation over that of a rule-based counterpart.

研究动机与目标

• 评估并比较统计机器翻译（SMT）与基于规则的机器翻译（RBMT）系统在印度语言翻译任务中的表现。
• 分析SMT与RBMT在多个语言对（英语-印度语及印度语-印度语）中的优缺点。
• 评估训练语料规模对SMT与RBMT性能的影响，特别是在低资源印度语场景下的表现。
• 确定在有限并行语料下，哪种方法能产出更高品质、领域特定的翻译结果。
• 为SMT在低资源印度语语境下实现高质量机器翻译的可行性提供实证证据。

提出的方法

• 本研究在英语-印度语及印度语-印度语翻译任务上实现并评估了SMT与RBMT系统。
• SMT基于并行单语语料进行训练，采用短语基于的统计模型进行翻译。
• RBMT采用人工构建的语言规则，包括形态分析、句法解析及转换规则以实现翻译。
• 通过BLEU分数及其他标准机器翻译评估指标，在多个语言对上衡量性能表现。
• 开展全面的错误分析，以识别两种系统中的失败模式与语言挑战。
• 在相同的评估协议下比较系统，以确保性能评估的公平性。

实验结果

研究问题

• RQ1 在英语-印度语语言对中，SMT与RBMT系统的翻译质量如何比较？
• RQ2 在印度语-印度语翻译任务中，RBMT的表现与SMT相比如何？
• RQ3 当训练数据有限时，SMT是否在低资源印度语中优于RBMT？
• RQ4 在印度语言中，RBMT与SMT的关键错误模式与语言挑战分别是什么？
• RQ5 在翻译方向上——英语-印度语或印度语-英语——哪种系统表现更优？

主要发现

• SMT系统在所有评估的语言对与配置中均优于RBMT系统。
• 对于SMT，英语-印度语翻译的性能优于印度语-英语翻译。
• 对于RBMT，英语-印度语翻译的表现也优于印度语-英语翻译。
• 即使在训练数据有限的情况下，SMT在印度语-印度语翻译任务中也显著优于RBMT。
• 尽管语料规模较小，SMT在领域特定应用中仍展现出更高的翻译质量与鲁棒性，优于RBMT。
• 错误分析表明，SMT在处理印度语中的形态与句法变化方面，比基于规则的系统更具优势。