[논문 리뷰] A machine transliteration tool between Uzbek alphabets

Ulugbek Salaev, Elmurod Kuriyozov외 1명|arXiv (Cornell University)|2022. 05. 19.

Jewish Identity and Society인용 수 7

한 줄 요약

이 논문은 우즈베크어의 쿠릴리츠, 라틴, 그리고 새로 개정된 뉴 라틴 문자 간의 자동 변환을 지원하는 최초의 오픈소스 기계 이완도구를 제시한다. 규칙 기반 매핑과 미세조정된 모델을 결합하여, 라틴-뉴 라틴 이완도에서 최대 F1 스코어 0.94를 달성했으며, 연구 및 통합 용도로 Python 패키지, 웹 인터페이스, 공개 API를 제공한다.

ABSTRACT

Machine transliteration, as defined in this paper, is a process of automatically transforming written script of words from a source alphabet into words of another target alphabet within the same language, while preserving their meaning, as well as pronunciation. The main goal of this paper is to present a machine transliteration tool between three common scripts used in low-resource Uzbek language: the old Cyrillic, currently official Latin, and newly announced New Latin alphabets. The tool has been created using a combination of rule-based and fine-tuning approaches. The created tool is available as an open-source Python package, as well as a web-based application including a public API. To our knowledge, this is the first machine transliteration tool that supports the newly announced Latin alphabet of the Uzbek language.

연구 동기 및 목표

• 쿠릴리츠, 라틴, 뉴 라틴 문자 간에 겹치지만 일관되지 않은 사용 방식을 가진 세 가지의 서로 다른 문자 체계를 사용하는 저자원 언어 처리 과제를 해결하기 위해.
• 쿠릴리츠, 라틴, 그리고 새로 도입된 뉴 라틴 문법 간의 다이아그램을 연결하는 실용적이고 접근 가능하며 정확한 이완도 시스템을 개발하기 위해.
• 기존 도구들이 닫힌 소스이거나 API를 제공하지 않거나 구현 품질이 열악한 점을 보완하기 위해.
• 뉴 라틴 알파벳으로의 전환을 지원하기 위해, 우즈베크어의 NLP 작업을 위한 신뢰할 수 있고 확장 가능한 솔루션을 제공하기 위해.
• 우즈베크어의 향후 NLP 파이프라인 개발(예: 토큰화, 품사 태깅, 형태소 분석 등)을 가능하게 하기 위해.

제안 방법

• 도구는 정제된 우즈베크어 텍스트 데이터를 기반으로 한 신경 모델의 미세조정과 규칙 기반 문자 매핑을 융합한 하이브리드 접근 방식을 사용한다.
• 특히 뉴 라틴 알파벳은 이중기호를 단일 문자로 대체하므로, 이중기호 및 음절 표기법을 다루기 위한 알파벳별 규칙을 적용한다.
• 모든 세 문자 체계 간의 단어 쌍으로 구성된 정제된 데이터셋을 활용하여 이완도 성능을 훈련 및 평가한다.
• Python 패키지 기반으로 공개 API와 웹 인터페이스를 구축하여 NLP 워크플로우에의 통합을 가능하게 한다.
• 모델 평가 시 단어 수준에서 마이크로 평균 F1 스코어를 사용하며, 오류 분석은 예외 케이스와 형태소 변형에 집중한다.
• 불일치하는 철자 형태(예: 'o' 및 'g' 발음에 대해 여러 개의 애포스트로피 표현)를 처리하기 위해 입력 정규화 기법을 포함한다.

실험 결과

연구 질문

• RQ1 쿠릴리츠, 라틴, 뉴 라틴 문자를 모두 사용하는 저자원이며 복합어 형성 언어인 우즈베크어에 대해 효과적인 기계 이완도 시스템을 어떻게 구축할 수 있는가?
• RQ2 규칙 기반 및 미세조정된 모델 접근 방식이 쿠릴리츠, 라틴, 뉴 라틴 문자 간의 이완도에서 어떤 성능을 보이는가?
• RQ3 이중기호 대비 음절 표기법 등의 철자 복잡성 차이가 이완도 정확도에 어떤 영향을 미치는가?
• RQ4 실제 사용자가 생성한 텍스트에서 형태소 변형과 외래어를 처리할 수 있는 시스템의 능력은 어느 정도인가?
• RQ5 공식 언어 개혁을 지원하는 확장 가능한 오픈소스 이완도 도구를 제작할 때의 주요 과제는 무엇인가?

주요 결과

• 라틴-뉴 라틴 이완도에서 가장 높은 F1 스코어 0.94를 기록했으며, 이는 예외 케이스가 없고 매우 단순하고 일관된 매핑 규칙 덕분이었다.
• 라틴-쿠릴리츠 쌍은 F1 스코어 0.89로 가장 낮았는데, 이는 복잡하고 일관되지 않은 변환 규칙과 많은 예외 사례 때문이었다.
• 뉴 라틴과 다른 문자 간의 이완도 성능이 라틴-쿠릴리츠 변환보다 뛰어났는데, 이는 뉴 라틴 알파벳이 필요한 변환 규칙 수를 줄이기 때문이다.
• 형태소 변화와 어근 형태 불일치로 인해 도구의 성능이 크게 영향을 받았으며, 특히 어근 정규화가 제대로 이루어지지 않은 경우에 심해졌다.
• 사용자가 생성한 텍스트, 특히 애포스트로피 사용이 불일치하는 경우(예: o‘, o’, o‘)가 정확한 이완도 수행에 큰 도전 과제가 되었다.
• 현 시점에서 뉴 라틴 알파벳에 대한 실질적인 텍스트가 부족하여 뉴 라틴 알파벳 데이터는 수작업으로 정제된 자료에 의존하고 있어, 훈련 데이터의 확장 필요성이 뚜렷하다.