[论文解读] Monolingual and Parallel Corpora for Kangri Low Resource Language

Shweta Chauhan, Shefali Saxena+1 more|arXiv (Cornell University)|Mar 22, 2021

Natural Language Processing Techniques参考文献 8被引用 6

一句话总结

本文首次发布了用于Kangri语（一种濒危的低资源印度喜马偕尔语，ISO 639-3: xnr）的单语语料库（181,552个句子）和双语语料库（27,362对句子对）。作者发布了预训练的词嵌入，并报告了基于统计机器翻译（SMT）和神经机器翻译（NMT）系统的BLEU与METEOR得分，为濒危印度语言的自然语言处理研究奠定了基础。

ABSTRACT

In this paper we present the dataset of Himachali low resource endangered language, Kangri (ISO 639-3xnr) listed in the United Nations Educational, Scientific and Cultural Organization (UNESCO). The compilation of kangri corpus has been a challenging task due to the non-availability of the digitalized resources. The corpus contains 1,81,552 Monolingual and 27,362 Hindi-Kangri Parallel corpora. We shared pre-trained kangri word embeddings. We also reported the Bilingual Evaluation Understudy (BLEU) score and Metric for Evaluation of Translation with Explicit ORdering (METEOR) score of Statistical Machine Translation (SMT) and Neural Machine Translation (NMT) results for the corpus. The corpus is freely available for non-commercial usages and research. To the best of our knowledge, this is the first Himachali low resource endangered language corpus. The resources are available at (https://github.com/chauhanshweta/Kangri_corpus)

研究动机与目标

• 为解决印度濒危低资源语言Kangri语数字语言资源匮乏的问题。
• 整理并发布大规模Kangri单语与双语语料库，以支持自然语言处理研究。
• 通过统计与神经方法训练和评估Kangri语的机器翻译系统。
• 通过公开数字资源，保护并促进语言遗产。

提出的方法

• 从各类数字来源收集181,552个Kangri语单语句子。
• 通过人工与自动对齐方法，整理出27,362对印地语与Kangri语的平行句子对。
• 利用单语语料库创建Kangri语的预训练词嵌入。
• 在双语语料库上训练统计机器翻译（SMT）与神经机器翻译（NMT）模型。
• 使用标准指标（BLEU与METEOR）评估翻译质量。
• 以非商业许可公开发布语料库与词嵌入，供研究使用。

实验结果

研究问题

• RQ1 对于一种濒危的低资源语言Kangri语，构建大规模单语与双语语料库是否可行？
• RQ2 在新整理的Kangri-印地语双语语料库上训练的SMT与NMT系统效果如何？
• RQ3 预训练的词嵌入在Kangri语下游自然语言处理任务中的表现如何？
• RQ4 在Kangri-印地语翻译任务中，SMT与NMT系统的BLEU与METEOR得分有何差异？
• RQ5 该语料库在多大程度上能支持未来濒危印度语言的自然语言处理研究？

主要发现

• 本文成功整理并发布了Kangri语的首个单语与双语语料库，包含181,552个单语句子与27,362对平行句子对。
• Kangri语的预训练词嵌入已公开发布，以支持下游自然语言处理任务。
• 报告了SMT与NMT系统在BLEU与METEOR指标上的得分，提供了基准性能指标。
• 该语料库可免费用于非商业研究，支持语言保护与自然语言处理发展。
• 本工作是Kangri语首个大规模自然语言处理资源，而Kangri语被联合国教科文组织列为濒危语言。
• 该数据集有望推动未来针对喜马偕尔语等低资源语言的建模与翻译研究。