[논문 리뷰] Basic Linguistic Resources and Baselines for Bhojpuri, Magahi and Maithili for Natural Language Processing

Rajesh Kumar Mundotiya, Manish Kumar Singh외 4명|arXiv (Cornell University)|2020. 01. 01.

Natural Language Processing Techniques참고 문헌 64인용 수 4

한 줄 요약

이 논문은 인도 푸르바차니다 지역의 저자원 인도아리안어인 부지팔리, 마가히, 마이티리어를 위한 새로 편집하고 청소하며 언어학적으로 주석을付けた 어휘자료를 제시한다. BIS 품사 품사 체계를 사용한 품사 및 구문 태그가 포함되어 있으며, 문자, 단어, 음절, 형태소 수준에서 비교 가능한 언어학적 통계를 제공한다. 이는 자연어처리(NLP) 개발을 위한 기초 자료와 기준점을 마련하며, 본질적인 크기 격차가 존재하더라도 공정한 비교를 위해 어휘자료 크기를 조정하였다.

ABSTRACT

Corpus preparation for low-resource languages and for development of human language technology to analyze or computationally process them is a laborious task, primarily due to the unavailability of expert linguists who are native speakers of these languages and also due to the time and resources required. Bhojpuri, Magahi, and Maithili, languages of the Purvanchal region of India (in the north-eastern parts), are low-resource languages belonging to the Indo-Aryan (or Indic) family. They are closely related to Hindi, which is a relatively high-resource language, which is why we make our comparisons with Hindi. We collected corpora for these three languages from various sources and cleaned them to the extent possible, without changing the data in them. The text belongs to different domains and genres. We calculated some basic statistical measures for these corpora at character, word, syllable, and morpheme levels. These corpora were also annotated with parts-of-speech (POS) and chunk tags. The basic statistical measures were both absolute and relative and were meant to give an indication of linguistic properties such as morphological, lexical, phonological, and syntactic complexities (or richness). The results were compared with a standard Hindi corpus. For most of the measures, we tried to keep the size of the corpus the same across the languages so as to avoid the effect of corpus size, but in some cases it turned out that using the full corpus was better, even if sizes were very different. Although the results are not very clear, we try to draw some conclusions about the languages and the corpora. For POS tagging and chunking, the BIS tagset was used to manually annotate the data. The sizes of the POS tagged data are 16067, 14669 and 12310 sentences, respectively for Bhojpuri, Magahi and Maithili. The sizes for chunking are 9695 and 1954 sentences for Bhojpuri and Maithili, respect

연구 동기 및 목표

• 인도 푸르바차니다 지역의 저자원 인도아리안어에 대한 언어학적 자료 부족 문제를 해결하기 위해.
• 원본 내용을 변경하지 않은 채 다양한 출처에서 부지팔리, 마가히, 마이티리어의 다양한 분야 어휘자료를 수집하고 정제하기 위해.
• 문자, 단어, 음절, 형태소 수준에서 기본 언어학적 통계를 계산하여 형태론적, 어휘론적, 음운론적, 문법적 복잡성을 평가하기 위해.
• 후속 NLP 작업을 위한 하위 작업을 위해 BIS 품사 체계를 사용한 수작업으로 주석을付け한 품사 및 구문 태그가 달린 데이터셋을 만들기 위해.
• 이 언어들 간의 언어학적 특성과 자료 특성을 비교하고, 가능하면 어휘자료 크기 편향을 최소화하기 위해 표준 히누어 어휘자료와 비교하기 위해.

제안 방법

• 다양한 출처에서 부지팔리, 마가히, 마이티리어의 원시 텍스트 어휘자료를 수집하여 분야와 장르의 다양성을 확보하였다.
• 원본 내용을 유지하면서도 사용성 향상을 위해 데이터 정제를 수행하였으며, 언어학적 내용에는 영향을 주지 않았다.
• 문자, 단어, 음절, 형태소 수준에서 절대적 및 상대적 언어학적 통계를 계산하여 언어학적 복잡성을 평가하였다.
• 일致된 언어학적 평가를 위해 BIS 품사 체계를 사용하여 어휘자료에 품사(POS) 및 구문 태그를 주석을付け하였다.
• 가능한 한 언어 간 비교를 위해 어휘자료 크기를 표준화하였지만, 더 대표적인 경우는 전체 어휘자료 크기를 유지하였다.
• 연구 결과를 맥락화하기 위해 표준 히누어 어휘자료와 언어학적 측정치 및 자료 특성을 비교하였다.

실험 결과

연구 질문

• RQ1 부지팔리, 마가히, 마이티리어의 형태론적, 어휘론적, 음운론적, 문법적 복잡성은 히누어와 비교해 어떻게 다른가?
• RQ2 부지팔리, 마가히, 마이티리어 어휘자료에서 주요 언어학적 통계(예: 단어 길이, 형태소 수, 음절 구조 등)는 무엇인가?
• RQ3 어휘자료 크기의 차이가 이 저자원 언어들 간 언어학적 비교의 신뢰성에 얼마나 영향을 미치는가?
• RQ4 수작업으로 주석을付け한 품사 및 구문 태그가 달린 데이터셋이 향후 이 언어들에서의 NLP 작업을 위한 기준점으로 얼마나 효과적인가?
• RQ5 이들 가까이 관련되어 있지만 자원이 부족한 언어들의 언어학적 특성에서 도출할 수 있는 통찰은 무엇인가?

주요 결과

• 품사 태그가 달린 어휘자료는 부지팔리에 16,067개 문장, 마가히에 14,669개 문장, 마이티리에 12,310개 문장이 포함되어 있어 NLP 작업을 위한 풍부한 학습 데이터를 제공한다.
• 구문 태그가 달린 어휘자료에는 부지팔리에 9,695개 문장, 마이티리에 1,954개 문장이 포함되어 있어 문법 분석 및 파싱 연구를 지원한다.
• 어휘자료 크기를 균형 있게 맞추기 위한 노력에도 불구하고, 원본 어휘자료 크기의 차이가 일부 언어학적 측정치의 비교 가능성에 영향을 미쳤다.
• 문자, 단어, 음절, 형태소 수준에서의 언어학적 통계는 세 언어 간 형태론적 및 어휘론적 복잡성의 뚜렷한 패턴을 드러냈다.
• 제한된 자원으로도 BIS 품사 체계를 일관되게 적용한 주석 처리를 통해 품사 태깅과 구문 태깅을 위한 신뢰할 수 있는 기준점을 만들 수 있음을 입증하였다.
• 히누어와의 비교 분석을 통해 언어적 풍부성과 복잡성에서 측정 가능한 차이가 있음을 확인하였으며, 각 언어에 맞는 별도의 NLP 모델링 필요성이 있음을 시사한다.