[论文解读] Bengali to Assamese Statistical Machine Translation using Moses (Corpus Based)

Nayan Jyoti Kalita, Md Baharul Islam|arXiv (Cornell University)|Jan 1, 2015

Natural Language Processing Techniques参考文献 4被引用 4

一句话总结

本论文提出了一种基于短语的统计机器翻译（SMT）系统，用于孟加拉语到阿萨姆语的翻译，使用Moses工具包训练，训练语料为17,100句平行语料。尽管BLEU得分为16.3，但由于训练数据量小和词汇歧义，系统仍存在局限性，表明通过使用更大语料库和整合句法特征可实现性能提升。

ABSTRACT

Machine dialect interpretation assumes a real part in encouraging man-machine correspondence and in addition men-men correspondence in Natural Language Processing (NLP). Machine Translation (MT) alludes to utilizing machine to change one dialect to an alternate. Statistical Machine Translation is a type of MT consisting of Language Model (LM), Translation Model (TM) and decoder. In this paper, Bengali to Assamese Statistical Machine Translation Model has been created by utilizing Moses. Other translation tools like IRSTLM for Language Model and GIZA-PP-V1.0.7 for Translation model are utilized within this framework which is accessible in Linux situations. The purpose of the LM is to encourage fluent output and the purpose of TM is to encourage similarity between input and output, the decoder increases the probability of translated text in target language. A parallel corpus of 17100 sentences in Bengali and Assamese has been utilized for preparing within this framework. Measurable MT procedures have not so far been generally investigated for Indian dialects. It might be intriguing to discover to what degree these models can help the immense continuous MT deliberations in the nation.

研究动机与目标

• 开发一种针对孟加拉语到阿萨姆语的统计机器翻译系统，该语言对为低资源语言对，且具有结构相似性。
• 评估在低资源印度语言环境下，使用Moses、GIZA++和IRSTLM等开源工具进行基于短语的SMT的有效性。
• 识别由于语料规模、词对齐歧义以及缺乏句法标注导致的翻译质量限制。
• 探索通过更大规模多语言语料库和在翻译模型中整合词性（POS）标注实现未来改进的可能性。

提出的方法

• 使用Moses工具包在17,100对孟加拉语-阿萨姆语句子的平行语料上训练基于短语的统计机器翻译系统。
• 采用GIZA++-PP-V1.0.7进行源语言与目标语言之间的词对齐及短语表生成。
• 使用IRSTLM构建语言模型，以提升目标语言（阿萨姆语）的流畅性。
• 对训练、调优和测试数据进行分词和大小写规范化处理，以确保预处理步骤的一致性。
• 通过使用独立的保留开发集对系统参数进行调优。
• 使用保留的测试集（200–300句）上的BLEU得分评估翻译质量。

实验结果

研究问题

• RQ1 基于短语的SMT方法在结构相似的印度语言（如孟加拉语和阿萨姆语）之间翻译时效果如何？
• RQ2 语料规模对低资源语言对中BLEU得分和翻译质量有何影响？
• RQ3 翻译词典中的词汇歧义在多大程度上会降低翻译性能？
• RQ4 在判别式SMT框架中，整合词性（POS）标注能否提升翻译准确率？

主要发现

• 系统在测试集上达到16.3的BLEU得分，表明翻译质量有限，可能由于训练数据不足。
• 错误率从200句测试集的17.5%下降至300句测试集的13.7%，表明测试集增大后性能有所改善。
• 常见错误源于词汇覆盖不足、翻译歧义（例如，孟加拉语的'শহর'被映射为阿萨姆语的'নগৰ'和'চহৰ'）以及POS标注有限。
• 系统展示了在低资源印度语言翻译中的可行性，但凸显了需要更大、领域多样的语料库。
• 在低资源环境下，BLEU得分在跨语料库比较中不可靠。
• 未来通过语料扩展和整合浅层句法特征（如POS标签）有望实现性能提升。