[논문 리뷰] Automatic Identification of Closely-related Indian Languages: Resources and Experiments

Ritesh Kumar, Bornini Lahiri외 5명|arXiv (Cornell University)|2018. 03. 26.

Authorship Attribution and Profiling참고 문헌 20인용 수 24

한 줄 요약

이 논문은 인도의 다섯 개인 인도아리안어계 언어—아와디, 데오프리, 브라즈, 히ند스탄디, 마가히—에 대한 최신 기술 수준의 언어 식별 시스템을 제시한다. 새로 구축한 유사어휘 자료를 사용하여 96.48%의 정확도를 달성하였다. 또한 이들 언어 간에 처음으로 데이터 기반의 어휘 유사도 분석을 수행하였으며, 언어학적 유사성에 대한 기초 자료와 NLP 자원을 제공하였다.

ABSTRACT

In this paper, we discuss an attempt to develop an automatic language identification system for 5 closely-related Indo-Aryan languages of India, Awadhi, Bhojpuri, Braj, Hindi and Magahi. We have compiled a comparable corpora of varying length for these languages from various resources. We discuss the method of creation of these corpora in detail. Using these corpora, a language identification system was developed, which currently gives state of the art accuracy of 96.48\%. We also used these corpora to study the similarity between the 5 languages at the lexical level, which is the first data-based study of the extent of closeness of these languages.

연구 동기 및 목표

• 인도의 다섯 개인 인도아리안어계 언어—아와디, 데오프리, 브라즈, 히нд스탄디, 마가히—에 대한 자동 언어 식별 시스템을 개발하는 것.
• 다양한 공공 자료에서부터 이들 언어의 길이가 다른 다국어 유사어휘 자료를 편집하고 공개하는 것.
• 이 다섯 언어 간에 처음으로 데이터 기반의 어휘 수준의 유사도 비교를 수행하는 것.
• 구축한 자료를 기반으로 언어 식별 시스템의 성능을 평가하는 것.
• 저자원 언어인 인도어 언어에 대한 NLP 연구를 지원하기 위해 공개 가능한 언어학적 자원을 제공하는 것.

제안 방법

• 저자들은 다양한 온라인 자료에서 각 언어에 대해 유사한 단일어 자료를 수집하고 정제하여 언어 간 텍스트 정렬을 확보하였다.
• 후속 NLP 작업을 위해 토큰화, 정규화, 필터링 등의 표준 전처리 기법을 적용하여 자료를 준비하였다.
• 편집된 자료를 기반으로 n-그램 특징과 분류기를 사용한 지도 학습 기반의 언어 식별 방법을 적용하였다.
• 교차 검증과 자료에서 파생된 테스트 세트를 사용하여 시스템을 평가하였으며, 보류된 데이터에서 정확도를 측정하였다.
• 정렬된 자료에서 공통 단어의 겹침과 동시 발생 통계를 활용하여 언어 간 어휘 유사도를 정량화하였다.
• 구축된 데이터셋에서 특징 공학 및 모델 튜닝을 통해 최종 모델이 최신 기술 수준의 성능을 달성하였다.

실험 결과

연구 질문

• RQ1 아와디, 데오프리, 브라즈, 히нд스탄디, 마가히라는 다섯 개인 인도어 언어 간의 어휘 유사도는 어느 정도인가요?
• RQ2 이들 언어의 새로 구축한 유사어휘 자료를 기반으로 한 기계 학습 기반 언어 식별 시스템은 얼마나 효과적인가요?
• RQ3 일관된 모델이 이들 밀접하게 관련된 언어들 간에 높은 정확도로 일반화될 수 있는가요?
• RQ4 계산 환경에서 이들 언어를 구분하는 데 핵심적인 언어학적 특징은 무엇인가요?
• RQ5 기존의 언어 식별 접근 방식과 비교해 볼 때, 이와 유사한 저자원 언어 쌍에 대해 시스템의 성능은 어떻게 되나요?

주요 결과

• 제안된 언어 식별 시스템은 구축한 유사어휘 자료의 테스트 세트에서 최신 기술 수준의 정확도 96.48%를 달성하였다.
• 어휘 유사도 분석 결과, 특히 히нд스탄디와 마가히, 데오프리와 아와디 간에 어휘적 겹침이 뚜렷하게 나타나 상호 이해 가능성의 강도를 시사하였다.
• 자료 편집 과정은 모든 다섯 언어에서 다양하고 정렬된 텍스트 샘플을 성공적으로 확보하여 향후 NLP 연구에 유용한 자원을 제공하였다.
• 모델은 짧은 텍스트 조각에서도 뛰어난 성능을 보이며 실생활 응용에서의 실용적 유용성을 입증하였다.
• 이 연구는 n-그램 특징과 철저한 데이터 정제를 활용한 지도 학습이 저자원 및 밀접하게 관련된 언어 환경에서 높은 정확도를 달성할 수 있음을 확인하였다.
• 이러한 다섯 언어는 상당한 언어학적 공통점을 공유하고 있으며, 이는 단일 식별 프레임워크 내에서 이들을 함께 묶는 데에 타당성을 부여한다.