[論文レビュー] Monolingual and Parallel Corpora for Kangri Low Resource Language

Shweta Chauhan, Shefali Saxena+1 more|arXiv (Cornell University)|Mar 22, 2021

Natural Language Processing Techniques参考文献 8被引用数 6

ひとこと要約

この論文は、絶滅危惧言語であるヒマチャリ語（ISO 639-3: xnr）のための、最初の単語言語（181,552文）および並列（27,362文ペア）コーパスを提示する。著者らは事前学習済み単語埋め込みを公開し、SMTおよびNMTシステムのBLEUおよびMETEORスコアを報告しており、インドの絶滅危惧言語におけるNLP研究の基盤となる。

ABSTRACT

In this paper we present the dataset of Himachali low resource endangered language, Kangri (ISO 639-3xnr) listed in the United Nations Educational, Scientific and Cultural Organization (UNESCO). The compilation of kangri corpus has been a challenging task due to the non-availability of the digitalized resources. The corpus contains 1,81,552 Monolingual and 27,362 Hindi-Kangri Parallel corpora. We shared pre-trained kangri word embeddings. We also reported the Bilingual Evaluation Understudy (BLEU) score and Metric for Evaluation of Translation with Explicit ORdering (METEOR) score of Statistical Machine Translation (SMT) and Neural Machine Translation (NMT) results for the corpus. The corpus is freely available for non-commercial usages and research. To the best of our knowledge, this is the first Himachali low resource endangered language corpus. The resources are available at (https://github.com/chauhanshweta/Kangri_corpus)

研究の動機と目的

• インドの絶滅危惧言語であるカングリ語のデジタル言語資源の不足に対処すること。
• カングリ語のスケールの大きな単語言語および並列コーパスを編集・公開し、NLP研究を支援すること。
• 統計的およびニューラル翻訳手法を用いて、カングリ語の機械翻訳システムの学習と評価を可能にすること。
• デジタルリソースを一般公開することで、言語的遺産の保存と促進を図ること。

提案手法

• カングリ語の多様なデジタルソースから181,552文の単語言語文を収集した。
• 手動および自動アラインメントを用いて、ヒンディー語とカングリ語の間で27,362組の並列文を編集した。
• 単語言語コーパスを用いて、カングリ語の事前学習済み単語埋め込みを生成した。
• 並列コーパス上で統計的機械翻訳（SMT）およびニューラル機械翻訳（NMT）モデルを学習した。
• 標準的な指標（BLEUおよびMETEOR）を用いて翻訳品質を評価した。
• 非営利研究目的での利用を想定し、コーパスおよび埋め込みを一般公開した。

実験結果

リサーチクエスチョン

• RQ1 絶滅危惧言語であり低リソースなカングリ語について、大規模な単語言語および並列コーパスを構築することは可能か？
• RQ2 新たに編集されたカングリ語–ヒンディー語並列コーパスを用いて学習されたSMTおよびNMTシステムは、どれほど効果的か？
• RQ3 事前学習済み単語埋め込みは、カングリ語の下流NLPタスクでどれほど効果的か？
• RQ4 カングリ語–ヒンディー語翻訳タスクにおいて、SMTとNMTシステムのBLEUおよびMETEORスコアはどのように比較されるか？
• RQ5 このコーパスは、将来のインドの絶滅危惧言語におけるNLP研究をどの程度支援できるか？

主な発見

• 本論文は、181,552文の単語言語文および27,362組の並列文ペアを含む、カングリ語の最初の単語言語および並列コーパスを成功裏に編集・公開した。
• カングリ語の事前学習済み単語埋め込みが、下流NLPタスクの支援を目的として一般公開された。
• SMTおよびNMTシステムのBLEUおよびMETEORスコアが報告され、ベンチマーク性能指標が提供された。
• コーパスは非営利研究目的で自由に利用可能であり、言語的保存とNLP開発を支援している。
• 本研究は、ユネスコが絶滅危惧と指定するカングリ語に対する、最初の大規模NLPリソースである。
• このデータセットは、ヒマチャリ語の低リソース言語モデリングおよび翻訳分野における今後の研究を促進すると期待される。