[논문 리뷰] L3Cube-MahaNLP: Marathi Natural Language Processing Datasets, Models, and Library

Raviraj Joshi|arXiv (Cornell University)|2022. 05. 29.

Natural Language Processing Techniques인용 수 9

한 줄 요약

L3Cube-MahaNLP는 마라티어 NLP 자원의 첫 번째 종합적인 세트를 소개한다. 이는 단일 언어 데이터셋(MahaCorpus), 작업별 특화 데이터셋(MahaSent, MahaNER, MahaHate) 및 해당 데이터셋에 맞게 미세조정된 BERT, RoBERTa, ALBERT, GPT 모델을 포함한다. 이 연구는 마라티어 감성 분석, 명명된 실체 인식, 혐오 발언 탐지 분야에서 최신 기술 수준의 성능을 확립하였으며, Hugging Face와 GitHub를 통해 공개된 모델을 통해 저자원 마라티어 환경에서의 실용적 NLP 응용을 지원한다.

ABSTRACT

Despite being the third most popular language in India, the Marathi language lacks useful NLP resources. Moreover, popular NLP libraries do not have support for the Marathi language. With L3Cube-MahaNLP, we aim to build resources and a library for Marathi natural language processing. We present datasets and transformer models for supervised tasks like sentiment analysis, named entity recognition, and hate speech detection. We have also published a monolingual Marathi corpus for unsupervised language modeling tasks. Overall we present MahaCorpus, MahaSent, MahaNER, and MahaHate datasets and their corresponding MahaBERT models fine-tuned on these datasets. We aim to move ahead of benchmark datasets and prepare useful resources for Marathi. The resources are available at https://github.com/l3cube-pune/MarathiNLP.

연구 동기 및 목표

• 인도에서 세 번째로 많이 쓰이는 언어이지만 여전히 자원이 부족한 마라티어에 대한 NLP 자원의 심각한 부족을 해결한다.
• 실제 활용에 부적합한 작은 벤치마크 데이터셋을 넘어서, 실무용으로 사용 가능한 데이터셋과 모델을 개발한다.
• 학술 연구와 산업 응용을 모두 지원하기 위해 마라티어 NLP 전용 오픈소스 라이브러리와 생태계를 구축한다.
• 다국어 모델보다 우수한 성능을 내는 단일 언어 사전 훈련 모델(MahaBERT, MahaRoBERTa, MahaAlBERT)과 생성 모델(MahaGPT)을 구축한다.
• Hugging Face를 통한 모델 접근성과 향후 pip 패키지 통합을 통해 종단 간 NLP 파이프라인을 가능하게 한다.

제안 방법

• 무 supervisory pre-training를 위한 289M 토큰의 단일 언어 마라티어 코퍼스(MahaCorpus)를 구축하였다(외부 자료 포함 시 총 752M 토큰).
• MahaCorpus를 기반으로 다국어 BERT 변종(base-BERT, RoBERTa, ALBERT)을 미세조정하여 마스크 언어 모델링(MLM)을 사용해 MahaBERT, MahaRoBERTa, MahaAlBERT 모델을 생성하였다.
• 자기 회귀 언어 모델 구조를 가진 GPT-2 스타일의 MahaGPT를 마라티어 코퍼스 전체에 대해 훈련시켜 자동 완성 및 텍스트 생성 작업을 지원하였다.
• 형태소가 풍부한 언어의 OOV(Out-of-Vocabulary) 처리를 향상시키기 위해 마라티어 코퍼스 기반의 MahaFT fastText 워드 임베딩을 훈련시켰다.
• 감성 분석, NER, 혐오 발언 분류를 위한 MahaSent(12,114개 트윗), MahaNER(25,000개 문장), MahaHate(25,000개 트윗) 데이터셋을 수기로 정제하고 주석을 추가하였다.
• 각 데이터셋에 대해 BERT 및 RoBERTa 모델을 미세조정하고 Hugging Face Hub에 공개하여 즉각적인 추론 및 재미세조정을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 다국어 사전 훈련 대비 대규모 단일 언어 마라티어 코퍼스가 하류 NLP 작업 성능 향상에 기여하는가?
• RQ2 특화된 작업용 데이터셋과 미세조정된 모델이 실제 마라티어 NLP 응용에서 일반 벤치마크보다 우수한 성능을 내는가?
• RQ3 다국어 모델(Multilingual-BERT 또는 XLM-R)과 비교해 단일 언어 BERT 변종(MahaBERT, MahaRoBERTa, MahaAlBERT)이 마라티어 NLP 작업에서 얼마나 효과적인가?
• RQ4 MahaGPT와 MahaFT는 저자원 마라티어 NLP의 시퀀스 모델링 및 워드 표현 향상에 어느 정도 기여하는가?
• RQ5 표준화된 실무용 데이터셋과 모델의 공개가 마라티어 NLP 연구 및 구현 가속화에 기여하는가?

주요 결과

• MahaBERT 모델은 마라티어 하류 작업에서 다국어 BERT 및 XLM-R를 능가하며, 단일 언어 사전 훈련의 이점을 입증한다.
• 289M 토큰(MahaCorpus, 외부 자료 포함 총 752M 토큰)을 확보하여 마라티어에서 비지도 및 지도 사전 훈련의 견고한 기반을 마련하였다.
• MahaSent, MahaNER, MahaHate는 마라티어 감성 분석, 명명된 실체 인식, 혐오 발언 탐지 분야에서 최초로 대규모이고 골드 스탠다드인 데이터셋이다.
• MahaSent, MahaNER, MahaHate에 대해 미세조정된 BERT 모델은 각각의 작업에서 최신 기술 수준의 성능을 달성하였으며, Hugging Face를 통해 공개되었다.
• MahaGPT는 마라티어에서 다음 토큰 예측 및 텍스트 생성을 가능하게 하여 언어에 대한 첫 번째 생성 모델이다.
• 형태소적으로 복잡한 단어에 대해 기존 마라티어 워드 벡터보다 MahaFT 워드 임베딩이 더 뛰어난 성능을 보였다.