[논문 리뷰] Towards Finite-State Morphology of Kurdish

Sina Ahmadi, Hossein Hassani|arXiv (Cornell University)|2020. 05. 21.

Natural Language Processing Techniques참고 문헌 31인용 수 9

한 줄 요약

이 논문은 스토크트-유한상태변환기(SFST)를 사용하여 소라니 Kurdi어의 파생어형태학을 모델링한 최초의 유한상태형 형태학 시스템을 제시한다. 전자어휘사전에서 171개의 형태학적 규칙을 추출하여 라틴 문자로 된 어형의 이방향 분석 및 생성을 가능하게 하여, 이 낮은 자원이 부족하고 매우 파생어가 많은 언어의 NLP를 크게 향상시켰다.

ABSTRACT

Morphological analysis is the study of the formation and structure of words. It plays a crucial role in various tasks in Natural Language Processing (NLP) and Computational Linguistics (CL) such as machine translation and text and speech generation. Kurdish is a less-resourced multi-dialect Indo-European language with highly inflectional morphology. In this paper, as the first attempt of its kind, the morphology of the Kurdish language (Sorani dialect) is described from a computational point of view. We extract morphological rules which are transformed into finite-state transducers for generating and analyzing words. The result of this research assists in conducting studies on language generation for Kurdish and enhances the Information Retrieval (IR) capacity for the language while leveraging the Kurdish NLP and CL into a more advanced computational level.

연구 동기 및 목표

• Kurdish어, 즉 낮은 자원이 부족하고 매우 파생어가 많은 인도·일본어족 언어에 대해 계산형 형태학 도구의 부족을 해결한다.
• 소라니 Kurdi어의 파생어형태학을 모델링하기 위해 유한상태변환기 기반의 시스템을 개발한다. 주로 명사, 형용사, 부사, 동사에 중점을 둔다.
• Kurdish BLARK 프레임워크의 격차를 메우기 위해 형태학적 분석, 융합, 텍스트 생성에 기여한다.
• 최근 공개된 전자어휘사전을 활용하여 규칙 기반의, 뒤바꾸기 가능한 형태학적 분석기 및 생성기를 구축한다.
• 향후 파생어형태학, 능동격, 문법적 상호작용에 대한 연구를 위한 기초를 마련한다.

제안 방법

• 스토크트-유한상태변환기(SFST) 프레임워크를 사용하여 정규표현식과 특성 인코딩 기반의 형태학적 규칙를 구현한다.
• 아하마디 등(2019)의 자료에서 유도된 어휘사전에 기반한 기본 어형을 정의한다. 명사, 형용사, 부사에는 절대형을, 동사에는 과거/현재 어간을 사용한다.
• 시제, 의존, 어순, 인칭, 수, 격조사 등의 접두어를 포함한 형태소의 연결을 통해 파생어형태학을 모델링한다.
• 이중 방향 변환을 구현한다: 분석(표면형 → 형태학적 특성)과 생성(특성 → 표면형).
• 모호성이 큰 페르시아-아랍 문자와는 달리 라틴 문자를 사용하여, 특히 누락된 원음 /i/ (Bizroke) 문제를 피한다.
• 1인칭 단수(-im), 비교급(-tir), 초월급(-tirîn), 부사어 표지자(-ane)와 같은 주요 파생어형태소를 포함한 총 171개의 파생어 규칙을 정의한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 소라니 Kurdi어의 복잡한 파생어형태학을 효과적으로 모델링하기 위해 유한상태변환기를 적용할 수 있는가?
• RQ2 소라니 Kurdi어에서 계산형 형태학 프레임워크에 체계적으로 인코딩할 수 있는 주요 파생어형태소와 파생어형태소는 무엇인가?
• RQ3 기존의 전자어휘사전이 소라니 Kurdi어처럼 낮은 자원이 부족한 언어의 규칙 기반 형태학적 분석기 개발을 얼마나 잘 지원할 수 있는가?
• RQ4 풍부한 파생어형태학적 패러다임을 가진 언어에서 어떻게 이중 방향의, 규칙 기반의 형태학적 분석 및 생성을 달성할 수 있는가?
• RQ5 현재 Kurdish NLP에서의 형태학적 모델링의 한계는 무엇이며, 이를 어떻게 유한상태방법으로 보완할 수 있는가?

주요 결과

• 이 시스템은 소라니 Kurdi어의 명사, 형용사, 부사, 동사 4개 문법 범주에 걸쳐 총 171개의 파생어 규칙을 성공적으로 모델링하였다.
• 유한상태변환기는 양방향 처리를 가능하게 하여 표면형의 형태학적 특성으로의 분석과 특성 시퀀스로부터 표면형의 생성을 모두 지원한다.
• 이 도구는 라틴 문자 기반의 형태학적 분석 및 생성을 지원하여, 특히 누락된 원음 /i/ 문제로 인한 모호성을 피한다.
• 이 구현은 SFST를 사용한 낮은 자원이 부족하고 매우 파생어가 많은 언어, 예를 들어 Kurdi어의 형태학 처리 가능성에 대한 증거를 제시한다.
• 이 시스템은 향후 파생어형태학, 능동격, 문법적 상호작용에 대한 Kurdish NLP 연구를 위한 기초 자원을 제공한다.
• 개발된 도구와 어휘자원은 비상업적 사용을 위한 CC BY-NC-SA 4.0 라이선스 하에 공개되어, Kurdish NLP 자원의 개방형 접근을 촉진한다.