[论文解读] Lexical Resources for Hindi Marathi MT

S Sreelekha, Pushpak Bhattacharyya|arXiv (Cornell University)|Mar 4, 2017

Natural Language Processing Techniques参考文献 12被引用 4

一句话总结

本文提出通过在训练语料中整合多种词汇资源（如IndoWordnet、功能词、kridanta对和动词短语）来提升印地语-马拉地语语言对的统计机器翻译（MT）性能。通过扩充词汇和词形，该方法显著提高了翻译质量和覆盖率，尤其在平行语料有限的情况下，案例研究和双语方向的错误分析已证实其有效性。

ABSTRACT

In this paper we describe some ways to utilize various lexical resources to improve the quality of statistical machine translation system. We have augmented the training corpus with various lexical resources such as IndoWordnet semantic relation set, function words, kridanta pairs and verb phrases etc. Our research on the usage of lexical resources mainly focused on two ways such as augmenting parallel corpus with more vocabulary and augmenting with various word forms. We have described case studies, evaluations and detailed error analysis for both Marathi to Hindi and Hindi to Marathi machine translation systems. From the evaluations we observed that, there is an incremental growth in the quality of machine translation as the usage of various lexical resources increases. Moreover usage of various lexical resources helps to improve the coverage and quality of machine translation where limited parallel corpus is available.

研究动机与目标

• 提升低资源印地语-马拉地语语言对的统计机器翻译质量。
• 通过在语料中丰富词汇资源，应对平行训练数据有限的挑战。
• 研究不同类型词汇资源对双语方向（印地语到马拉地语和马拉地语到印地语）翻译性能的影响。
• 评估利用词汇资源进行词汇扩充和词形扩展的有效性。
• 开展详细的错误分析，以理解词汇资源对翻译错误的影响。

提出的方法

• 在平行训练语料中加入包括IndoWordnet语义关系、功能词、kridanta对和动词短语在内的词汇资源。
• 扩展训练数据中的词汇和词形，以提升覆盖范围和泛化能力。
• 使用增强后的训练数据，对印地语到马拉地语和马拉地语到印地语翻译任务分别应用统计机器翻译流程。
• 通过标准机器翻译指标进行案例研究和定量评估，以衡量性能提升。
• 开展详细的错误分析，以识别错误模式并评估词汇资源对错误减少的影响。
• 结合形态学与语义资源，以增强低资源环境下的词汇丰富性。

实验结果

研究问题

• RQ1 在训练语料中加入词汇资源对印地语-马拉地语机器翻译质量有何影响？
• RQ2 不同类型词汇资源（语义、功能、形态）在性能提升中的贡献程度如何？
• RQ3 当平行训练数据有限时，词汇扩充能否提升翻译质量？
• RQ4 词汇资源如何影响印地语-马拉地语翻译系统中的错误模式？
• RQ5 组合使用多种词汇资源对机器翻译系统性能的增量影响是什么？

主要发现

• 词汇资源的整合在印地语到马拉地语和马拉地语到印地语两个方向上均带来了翻译质量的逐步提升。
• 形态学和语义词汇资源显著增强了词汇覆盖范围，尤其在低资源环境下效果明显。
• kridanta对和动词短语的使用有助于更好地处理翻译中的句法和语义结构。
• 错误分析显示，词汇扩充减少了与词义选择和屈折形式相关的错误。
• 功能词和IndoWordnet中的语义关系提升了翻译输出的流畅性和连贯性。
• 随着每一层词汇资源的逐步整合，系统整体性能持续提升，体现出累积增益效应。