[논문 리뷰] Development of a Hindi Lemmatizer

Snigdha Paul, Nisheeth Joshi외 1명|arXiv (Cornell University)|2013. 05. 24.

Natural Language Processing Techniques참고 문헌 5인용 수 16

한 줄 요약

이 논문은 문법 규칙을 사용하여 접두사와 접미사를 체계적으로 제거함으로써 어간 단어를 생성하는 규칙 기반 히누어 어간화기(lemmatizer)를 제시한다. 이는 접미사 제거와 규칙 기반 어간 복원을 결합하여, 문법적으로 풍부한 언어인 히누어에서 높은 정확도를 달성하며, 인도 언어의 자연어 처리 작업을 위한 전용 자원을 기여한다.

ABSTRACT

We live in a translingual society, in order to communicate with people from different parts of the world we need to have an expertise in their respective languages. Learning all these languages is not at all possible; therefore we need a mechanism which can do this task for us. Machine translators have emerged as a tool which can perform this task. In order to develop a machine translator we need to develop several different rules. The very first module that comes in machine translation pipeline is morphological analysis. Stemming and lemmatization comes under morphological analysis. In this paper we have created a lemmatizer which generates rules for removing the affixes along with the addition of rules for creating a proper root word.

연구 동기 및 목표

• 히누어의 문법적 복잡성을 해결하기 위해 전용 어간화 도구를 개발함으로써, 매우 변화형이 많은 언어인 히누어의 도전 과제를 해결하고자 한다.
• 하위 작업 NLP 작업에서 사용할 수 있도록, 변화형 히누어 어형을 기본 어간 형태로 정확하게 매핑할 수 있는 시스템을 설계하고자 한다.
• 접두사 제거와 맥락 민감형 어간 단어 복원을 결합한 규칙 기반 프레임워크를 개발하고자 한다.
• 기계 번역과 계산 언어학 연구를 지원하기 위해, 도메인 특화된 히누어 어간화기를 기여하고자 한다.

제안 방법

• 어간화기는 변화형 히누어 어형에서 접두사와 접미사를 식별하고 제거하는 규칙 기반 접근법을 사용한다.
• 어형 패턴과 문법 카테고리에 따라 어형을 분류하는 계층적 규칙 세트를 적용한다.
• 동사 수동형과 명사 어용어 형식을 포함한 히누어 문법에서 유도된 문법 규칙을 통합한다.
• 언어학적 규칙과 기본 형태의 정제된 어휘집을 기반으로 어간 단어 복원을 이행한다.
• 정확한 어간 식별을 보장하기 위해 구조화된 파이프라인에서 접두사 및 접미사 제거를 통합한다.
• 어간 형태 복원의 정밀도와 재현율을 측정하기 위해 수작업으로 주석 처리된 테스트 세트를 사용하여 어간화기를 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 규칙 기반 시스템이 인도아리안어계에 속한 매우 변화형이 많은 언어인 히누어의 문법적 복잡성을 효과적으로 다룰 수 있는가?
• RQ2 히누어에서 정확한 접미사 제거와 어간 단어 복원을 가능하게 하는 언어학적 규칙의 조합은 무엇인가?
• RQ3 규칙 기반 어간화기는 히누어 텍스트 처리에서 기준 스태밍 기법보다 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 문법 규칙의 통합은 히وري스틱 접근법에 비해 어간화 정확도를 얼마나 향상시키는가?

주요 결과

• 제안된 어간화기는 변화형 히누어 어형을 기본 형태로 매핑하는 데 높은 정밀도와 재현율을 달성하여, 어간 분석의 효과성을 입증한다.
• 규칙 기반 접근법은 동사와 명사의 복잡한 변화형 패턴, 특히 시제 및 격조사 표시를 효과적으로 처리한다.
• 접두사 제거와 맥락 민감형 어간 복원의 조합은 단순 스태밍 기법에 비해 정확도를 크게 향상시킨다.
• 시스템의 성능은 수작업으로 정제된 테스트 세트에서 검증되어 자연어 처리 응용 분야에서 신뢰성을 확인한다.
• 어간화기는 재사용 가능한, 언어에 특화된 자원을 제공하여 향후 기계 번역 및 정보 검색 분야의 연구를 지원한다.
• 본 연구는 유사한 규칙 기반 어간화 기법을 다른 문법적으로 풍부한 인도 언어로 확장하기 위한 기반을 마련한다.