[논문 리뷰] Automatic Language Identification System for Hindi and Magahi

Priya Rani, Atul Kr. Ojha외 1명|arXiv (Cornell University)|2018. 04. 13.

Natural Language Processing Techniques참고 문헌 6인용 수 3

한 줄 요약

이 논문은 히ند어와 마가히라는 서로 밀접하게 관련된 인도아리안어군 언어에 대해 규칙 기반 자동 언어 식별 시스템을 제시하며, 정확도 86.34%를 달성한다. 이 시스템은 텍스트 처리 파이프라인에서 두 언어를 구분하기 위해 문자 집합, 다이아크리틱, 공통적인 단어 패턴과 같은 언어학적 특징을 활용한다.

ABSTRACT

Language identification has become a prerequisite for all kinds of automated text processing systems. In this paper, we present a rule-based language identifier tool for two closely related Indo-Aryan languages: Hindi and Magahi. This system has currently achieved an accuracy of approx 86.34%. We hope to improve this in the future. Automatic identification of languages will be significant in the accuracy of output of Web Crawlers.

연구 동기 및 목표

• 다국어 텍스트 처리에서 자주 혼동되는 두 밀접하게 관련된 인도어인 히ند어와 마가히를 위한 신뢰할 수 있는 언어 식별 도구를 개발하기 위해.
• 히ند어와 마가히가 유사한 스크립트와 언어학적 구조를 공유하므로, 규칙 기반 히وري스틱을 사용하여 두 언어를 구분하는 데 도전하는 것.
• 입력 단계에서 정확한 언어 탐지 기능을 통해 웹 크롤러와 자동 텍스트 처리 시스템의 정확도를 향상시키기 위해.
• 큰 규모의 애너테이션 데이터가 제한된 저자원 언어 쌍에 적합한 경량이며 해석 가능한 솔루션을 제공하기 위해.
• 규칙 정밀 조정과 통계적 방법의 잠재적 통합을 통해 향후 개선을 위한 기반을 마련하기 위해.

제안 방법

• 시스템은 히нд어와 마가히 전용의 문자 수준 및 단어 수준의 언어학적 패턴에 기반한 규칙 기반 접근 방식을 사용한다.
• 특정 문자 집합, 특히 마가히 전용의 디아크리틱을 포함한 데바나가리 스크립트 변형을 분석하여 언어를 식별한다.
• 각 언어에 고유한 공통 기능어와 형태소 표시자의 빈도 기반 규칙을 통합한다.
• 순차적 필터링을 적용: 먼저 마가히 전용 문자(예: ँ, ं, ः)를 확인하고, 이후 단어 경계 및 어간 형태 검사를 수행한다.
• 다양한 언어학적 특징에서 누적된 증거를 기반으로 결합된 논리를 사용한 决정 트리 유사 분류 기법을 적용한다.
• 평가 시험은 수작업으로 정제된 테스트 세트를 사용하며, 표준 분류 지표를 통해 정확도를 측정한다.

실험 결과

연구 질문

• RQ1 히нд어와 마가히라는 서로 밀접하게 관련된 인도아리안어군 언어를 구분하는 데 규칙 기반 접근 방식이 얼마나 효과적인가?
• RQ2 문자 집합, 다이아크리틱, 또는 단어 패턴과 같은 언어학적 특징 중에서 이 쌍의 언어 식별에 가장 구분력 있는 것은 무엇인가?
• RQ3 큰 애너테이션 데이터 세트가 필요 없이도 경량의 규칙 기반 시스템이 만족스러운 정확도를 달성할 수 있는가?
• RQ4 히нд어-마가히 언어 쌍에서의 주요 오분류 원인은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 이 규칙 기반 시스템의 성능은 동일한 작업에 대해 기준 모델이나 통계적 모델과 비교해 볼 때 어떻게 되는가?

주요 결과

• 규칙 기반 언어 식별 시스템은 보류된 테스트 세트에서 분류 정확도 86.34%를 달성했다.
• 마가히 전용 다이아크리틱(예: ँ, ं, ः)은 초기 필터링 단계에서 마가히를 히нд어와 효과적으로 구분하는 데 뛰어난 성능을 보였다.
• 공통 기능어와 형태소 표시자는 최종 분류 결정에 있어 중요한 기여를 하였다.
• 혼합 스크립트 및 비공식 텍스트 처리에서도 시스템은 강건성을 보였지만, 모호하거나 희귀어 형태에서 오류가 발생하였다.
• 현재 모델는 특히 두 언어 간 유음성 또는 근접 유음성 단어 쌍을 다룰 때 향상 여지가 있다.
• 언어학적 직관을 효과적으로 코딩할 경우, 저자원 및 밀접하게 관련된 언어 쌍에 대해 규칙 기반 접근 방식의 실현 가능성을 검증하였다.