[논문 리뷰] Rule Based Stemmer in Urdu

Vaishali Gupta, Nisheeth Joshi외 1명|arXiv (Cornell University)|2013. 10. 02.

Natural Language Processing Techniques참고 문헌 7인용 수 13

한 줄 요약

이 논문은 아랍어, 페르시아어, 싱크리트어에서 유래한 복잡한 변화형을 지닌 형태학적으로 풍부한 언어인 우르두어를 위한 규칙 기반 어간 추출기(스테머)를 제시한다. 수작업으로 정의한 형태학적 규칙을 사용해 접두사와 접미사를 제거함으로써, 정보 검색 및 자연어 처리 응용 분야에서 사용하기 위해 전문가 평가를 거쳐 높은 정확도로 어간 추출을 달성한다.

ABSTRACT

Urdu is a combination of several languages like Arabic, Hindi, English, Turkish, Sanskrit etc. It has a complex and rich morphology. This is the reason why not much work has been done in Urdu language processing. Stemming is used to convert a word into its respective root form. In stemming, we separate the suffix and prefix from the word. It is useful in search engines, natural language processing and word processing, spell checkers, word parsing, word frequency and count studies. This paper presents a rule based stemmer for Urdu. The stemmer that we have discussed here is used in information retrieval. We have also evaluated our results by verifying it with a human expert.

연구 동기 및 목표

• 언어의 복잡한 형태학적 특성으로 인해 강력한 우르두어 언어 처리 도구가 부족한 데 대비하기 위해.
• 우르두어 단어를 그 어간 형태로 정확히 축약하는 규칙 기반 스테머를 설계하기 위해.
• 일致된 단어 정규화를 통해 정보 검색 및 자연어 처리 작업을 지원하기 위해.
• 수작업으로 레이블링된 기준 데이터와의 비교를 통해 스테머의 성능을 검증하기 위해.

제안 방법

• 스테머는 우르두어 단어에서 접두사와 접미사를 식별하고 제거하기 위해 수작업으로 정의된 형태학적 규칙의 집합을 적용한다.
• 규칙들은 동사 활용 및 명사 어형 변화와 같은 일반적인 우르두어 어형 형성 패턴에 기반한다.
• 시스템은 규칙 적용을 순차적으로 수행하며, 과다 추출을 방지하기 위해 더 긴 어미를 우선순위로 한다.
• 알고리즘은 우르두어의 어간 체계와 어미 부착 패턴에 대한 언어학적 지식을 바탕으로 규칙 적용을 이끈다.
• 스테머는 기계 학습 구성 요소 없이 결정론적 패턴 매칭 시스템으로 구현된다.
• 성능 평가는 전문가가 수작업으로 레이블링한 어간 형태와의 비교를 통해 수행된다.

실험 결과

연구 질문

• RQ1 규칙 기반 접근 방식은 우르두어의 형태학적 복잡성을 얼마나 효과적으로 다룰 수 있는가?
• RQ2 대규모 수작업 레이블링 코퍼스가 없더라도 수작업으로 정의한 규칙가 우르두어 단어의 어간 추출에서 높은 정확도를 달성할 수 있는가?
• RQ3 스테머는 언어학적 정확성과 어간 유지 능력 측면에서 어느 정도의 수준을 확보하는가?
• RQ4 수작업으로 레이블링된 기준 데이터와 비교했을 때, 규칙 기반 스테머의 어간 추출 성능은 어떠한가?

주요 결과

• 규칙 기반 스테머는 언어학적 패턴과 형태학적 규칙을 활용해 우르두어 단어를 어간 형태로 성공적으로 축약한다.
• 전문가의 검증을 통해 어간 추출 정확도가 높다는 것이 확인되었다.
• 우르두어용 대규모 수작업 레이블링 학습 데이터가 없음에도 불구하고 이 접근 방식은 효과적이다.
• 스테머는 우르두어의 일반적인 파생 및 변화 어미를 잘 처리하는 데에 뛰어난 견고성을 보였다.
• 결과적으로 규칙 기반 방법론이 형태학적으로 풍부한 언어, 예를 들어 우르두어와 같은 언어에 대해 여전히 타당하고 정확하다는 것이 확인되었다.