[논문 리뷰] Aksharantar: Open Indic-language Transliteration datasets and models for the Next Billion Users

Yash Madhani, Sushane Parthan외 6명|arXiv (Cornell University)|2022. 05. 06.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 인도어 21개어 12개 스크립트를 포함해 총 2600만 쌍의 데이터를 포함한, 인도어 표준화 전사 데이터셋인 Aksharantar를 소개한다. 이는 다국어 모델 IndicXlit을 제시하여 Dakshina 벤치마크에서 정확도를 15% 향상시키며, 새로운 103,000개 테스트셋을 통해 단어 유형별 정밀한 성능 분석을 가능하게 한다.

ABSTRACT

Transliteration is very important in the Indian language context due to the usage of multiple scripts and the widespread use of romanized inputs. However, few training and evaluation sets are publicly available. We introduce Aksharantar, the largest publicly available transliteration dataset for Indian languages created by mining from monolingual and parallel corpora, as well as collecting data from human annotators. The dataset contains 26 million transliteration pairs for 21 Indic languages from 3 language families using 12 scripts. Aksharantar is 21 times larger than existing datasets and is the first publicly available dataset for 7 languages and 1 language family. We also introduce the Aksharantar testset comprising 103k word pairs spanning 19 languages that enables a fine-grained analysis of transliteration models on native origin words, foreign words, frequent words, and rare words. Using the training set, we trained IndicXlit, a multilingual transliteration model that improves accuracy by 15% on the Dakshina test set, and establishes strong baselines on the Aksharantar testset introduced in this work. The models, mining scripts, transliteration guidelines, and datasets are available at https://github.com/AI4Bharat/IndicXlit under open-source licenses. We hope the availability of these large-scale, open resources will spur innovation for Indic language transliteration and downstream applications. We hope the availability of these large-scale, open resources will spur innovation for Indic language transliteration and downstream applications.

연구 동기 및 목표

• 인도어 언어를 위한 대규모 공개 전사 데이터셋의 부족을 해결하기 위해.
• 다양한 인도어 어족과 스크립트를 포함하는 종합적이고 오픈 소스 데이터셋을 구축하기 위해.
• 기존 베이스라인을 초월하는 다국어 전사 모델을 개발하기 위해.
• 원어, 외래어, 빈도 높은 어휘, 희귀어 등 다양한 어휘 유형에 대한 정밀한 평가를 가능하게 하기 위해.
• 연구 및 응용 개발을 가속화하기 위해 데이터셋, 모델, 학습 스크립트, 가이드라인을 모두 공개하기 위해.

제안 방법

• 단일 언어 및 병렬 코퍼스를 채굴한 후, 규칙 기반 및 신경망 기반 필터링을 통해 유효한 전사 쌍을 추출하였다.
• 저자원 언어 및 언어 쌍의 고품질 데이터 확보를 위해 인간 검토자를 활용하여 언어적 다양성과 정확성을 확보하였다.
• 모든 언어에서 공통된 서브어휘 보편 어휘를 사용하여 전체 Aksharantar 학습 데이터셋으로 다국어 시퀀스-투-시퀀스 모델 IndicXlit을 학습시켰다.
• 공통된 패턴을 인도어 언어 간에 활용하기 위해 교차 언어 주의를 갖춘 트랜스포머 기반 아키텍처를 사용하였다.
• 어휘 빈도, 어원, 스크립트 유형에 따라 세분화된 평가를 가능하게 하기 위해 103,000개의 단어 쌍을 포함한 새로운 테스트셋인 Aksharantar 테스트셋을 구성하였다.
• 학습 및 추론 파이프라인은 완전한 문서화와 오픈 소스 라이선스 하에 공개되었다.

실험 결과

연구 질문

• RQ1 저자원 인도어 언어를 위한 체계적인 대규모 고품질 전사 데이터 수집 방법은 무엇인가?
• RQ2 다양한 인도어 언어로 훈련된 다국어 모델이 언어 어족과 스크립트 간에 얼마나 잘 일반화되는가?
• RQ3 세분화된 분할 평가를 통해 전사 모델의 희귀어, 외래어, 원어어에 대한 성능은 어떻게 되는가?
• RQ4 공개된 데이터셋과 모델은 Dakshina와 같은 기존 벤치마크에서 성능 향상에 상당한 기여를 할 수 있는가?
• RQ5 통합 전사 훈련 설정에 저자원 언어와 스크립트를 포함시키는 것이 어떤 영향을 미치는가?

주요 결과

• Aksharantar는 3개의 언어 어족과 12개의 스크립트를 포함해 총 21개의 인도어 언어에서 2600만 개의 전사 쌍을 포함하며, 기존 데이터셋보다 21배 더 크다.
• 이 데이터셋은 7개 언어와 1개 언어 어족에 대해 공개된 자료로 처음으로 제공되어 저자원 언어의 커버리지가 크게 확장되었다.
• Aksharantar로 훈련된 IndicXlit은 Dakshina 테스트셋에서 이전 최고 성능 대비 15%p의 정확도 향상을 달성하였다.
• Aksharantar 테스트셋은 원어, 외래어, 빈도 높은 어휘, 희귀어 등 어휘 유형 간의 성능 차이를 드러내는 세분화된 분석을 가능하게 하였다.
• 유연한 라이선스 하에 모델, 데이터셋, 학습 스크립트를 공개함으로써 인도어 NLP 분야의 혁신을 가속화할 것으로 기대된다.
• 다양한 인도어 언어로 다국어 미리 학습한 결과, 강력하고 일반화 가능한 전사 성능을 확보할 수 있었다.