[논문 리뷰] Monolingual and Parallel Corpora for Kangri Low Resource Language

Shweta Chauhan, Shefali Saxena외 1명|arXiv (Cornell University)|2021. 03. 22.

Natural Language Processing Techniques참고 문헌 8인용 수 6

한 줄 요약

이 논문은 인도의 멸종 위험에 처한 저자원 히마차리 언어인 칸그리어(ISO 639-3: xnr)를 위한 첫 번째 단어장어(181,552개 문장)와 병렬어(27,362개 문장 쌍) 어휘자료를 제시한다. 저자들은 사전에 학습된 단어 임베딩을 공개하고, 기계 번역 시스템(SMT 및 NMT)에 대한 BLEU 및 METEOR 점수를 보고하여, 멸종 위험에 처한 인도어 NLP 연구를 위한 기초 자료로 기여한다.

ABSTRACT

In this paper we present the dataset of Himachali low resource endangered language, Kangri (ISO 639-3xnr) listed in the United Nations Educational, Scientific and Cultural Organization (UNESCO). The compilation of kangri corpus has been a challenging task due to the non-availability of the digitalized resources. The corpus contains 1,81,552 Monolingual and 27,362 Hindi-Kangri Parallel corpora. We shared pre-trained kangri word embeddings. We also reported the Bilingual Evaluation Understudy (BLEU) score and Metric for Evaluation of Translation with Explicit ORdering (METEOR) score of Statistical Machine Translation (SMT) and Neural Machine Translation (NMT) results for the corpus. The corpus is freely available for non-commercial usages and research. To the best of our knowledge, this is the first Himachali low resource endangered language corpus. The resources are available at (https://github.com/chauhanshweta/Kangri_corpus)

연구 동기 및 목표

• 칸그리어, 인도의 멸종 위험에 처한 저자원 언어에 대한 디지털 언어 자료의 부족 문제를 해결하기 위함.
• NLP 연구를 지원하기 위해 대규모 단어장어 및 병렬어 어휘자료를 편성하고 공개하기 위함.
• 통계적 및 신경 기반 기계 번역 방법을 사용하여 칸그리어 번역 시스템의 훈련 및 평가를 가능하게 하기 위함.
• 디지털 자료를 공개함으로써 언어 유산을 보존하고 증진하기 위함.

제안 방법

• 칸그리어로 된 다양한 디지털 자료에서 181,552개의 단어장어 문장을 수집.
• 수동 및 자동 정렬을 통해 히누어와 칸그리어 간 27,362개의 병렬 문장 쌍을 편성.
• 단어장어 어휘자료를 사용하여 칸그리어용 사전에 학습된 단어 임베딩을 생성.
• 병렬 어휘자료를 기반으로 통계적 기계 번역(SMT) 및 신경 기계 번역(NMT) 모델을 훈련.
• 표준 평가 지표인 BLEU 및 METEOR를 사용하여 번역 품질을 평가.
• 비상업적 연구를 위해 어휘자료 및 임베딩을 공개

실험 결과

연구 질문

• RQ1 멸종 위험에 처한 저자원 언어인 칸그리어에 대해 대규모 단어장어 및 병렬 어휘자료를 구축하는 것이 가능한가?
• RQ2 최근 편성된 칸그리어-히누어 병렬 어휘자료를 기반으로 훈련된 SMT 및 NMT 시스템은 얼마나 효과적인가?
• RQ3 사전에 학습된 단어 임베딩은 칸그리어의 후속 NLP 작업에서 얼마나 성능이 좋은가?
• RQ4 칸그리어-히누어 번역 작업에서 SMT 및 NMT 시스템 간 BLEU 및 METEOR 점수는 어떻게 비교되는가?
• RQ5 이 어휘자료는 향후 인도의 멸종 위험에 처한 언어에 대한 NLP 연구를 얼마나 지원할 수 있는가?

주요 결과

• 논문은 칸그리어에 대해 처음으로 단어장어(181,552개 문장)와 병렬어(27,362개 문장 쌍) 어휘자료를 편성하고 공개하였다.
• 칸그리어용 사전에 학습된 단어 임베딩가 후속 NLP 작업을 지원하기 위해 공개되었다.
• SMT 및 NMT 시스템에 대한 BLEU 및 METEOR 점수가 보고되어 기준 성능 지표를 제공하였다.
• 어휘자료는 비상업적 연구를 위해 무료로 접근 가능하여 언어 보존 및 NLP 개발을 지원한다.
• 이 작업은 유네스코가 멸종 위험에 처해 있다고 지정한 언어인 칸그리어에 대해 처음으로 대규모 NLP 자료를 제공한다.
• 이 데이터셋은 히마차리어 언어의 저자원 언어 모델링 및 번역 분야의 향후 연구를 촉진할 것으로 기대된다.