[论文解读] Machine Translation Approaches and Survey for Indian Languages

Nadeem Jadoon Khan, Waqas Anwar+1 more|arXiv (Cornell University)|Jan 16, 2017

Natural Language Processing Techniques参考文献 30被引用 7

一句话总结

本文评估了八种印度语言（印地语、旁遮普语、泰米尔语、泰卢固语、马拉雅拉姆语、古吉拉特语、乌尔都语、孟加拉语）到英语的短语基于统计机器翻译（SMT）系统。尽管并行语料有限，作者仍建立了平均BLEU得分为10%的基线系统，凸显了在低资源印度语言环境下提升语言资源和SMT开发的必要性。

ABSTRACT

In this study, we present an analysis regarding the performance of the state-of-art Phrase-based Statistical Machine Translation (SMT) on multiple Indian languages. We report baseline systems on several language pairs. The motivation of this study is to promote the development of SMT and linguistic resources for these language pairs, as the current state-of-the-art is quite bleak due to sparse data resources. The success of an SMT system is contingent on the availability of a large parallel corpus. Such data is necessary to reliably estimate translation probabilities. We report the performance of baseline systems translating from Indian languages (Bengali, Guajarati, Hindi, Malayalam, Punjabi, Tamil, Telugu and Urdu) into English with average 10% accurate results for all the language pairs.

研究动机与目标

• 评估最先进的短语基于SMT在资源匮乏的印度语言对上的表现。
• 由于并行语料稀疏，为多种印度语言到英语建立基线翻译系统。
• 推动在训练数据有限的印度语言中SMT和语言资源的发展。
• 识别在低资源印度语言中机器翻译的关键挑战。

提出的方法

• 使用Moses等标准工具实现短语基于SMT系统以进行翻译解码。
• 为每种印度语言对使用现有的单语和并行语料。
• 基于并行句子估计的短语翻译概率训练翻译模型。
• 应用语言模型以提高目标语言（英语）的流畅性。
• 使用BLEU分数衡量所有语言对的翻译质量。
• 在标准SMT流水线配置下训练并评估基线系统。

实验结果

研究问题

• RQ1 在并行数据有限的情况下，短语基于SMT在印度语言对上的表现如何？
• RQ2 在形态和句法结构各异的印度语言中，基线SMT系统的表现如何？
• RQ3 在为低资源印度语言开发有效SMT系统时，关键瓶颈是什么？
• RQ4 现有SMT框架在印度语言中使用极少并行语料时，能在多大程度上实现可接受的翻译质量？

主要发现

• 所有八种印度语言到英语的翻译对平均BLEU得分为10%，表明性能较低但具有基线水平。
• 不同语言之间的表现差异显著，部分语言对得分较高，原因在于数据可用性更好或与英语的语言相似性更高。
• 该研究证实，缺乏并行单语语料严重限制了印度语言中SMT的表现。
• 尽管数据稀疏，基线系统仍成功实现，证明了在低资源环境下SMT的可行性。
• 结果凸显了对更大、更高质量并行语料以及改进的印度语言语言资源的迫切需求。
• 该研究为未来在印度语言NLP中开展神经机器翻译和数据增强工作奠定了基础。