[논문 리뷰] Stemmer for Serbian language

Nikola Milošević|arXiv (Cornell University)|2012. 09. 20.

Linguistics, Language Diversity, and Identity참고 문헌 2인용 수 23

한 줄 요약

이 논문은 세르비아어와 같은 고도로 변화형이 많은 언어를 대상으로, 어형을 기본 어간으로 줄이는 데에 규칙 기반 형태 분석을 사용하는 접미사 제거 스테머를 제시한다. 이 방법은 체계적인 접미사 제거를 통해 높은 정확도를 달성하며, 세르비아어 코퍼스에서 종합적인 평가를 통해 정보 검색 응용 분야에서의 효과성을 입증한다.

ABSTRACT

In linguistic morphology and information retrieval, stemming is the process for reducing inflected (or sometimes derived) words to their stem, base or root form; generally a written word form. In this work is presented suffix stripping stemmer for Serbian language, one of the highly inflectional languages.

연구 동기 및 목표

• 세르비아어와 같은 고도로 변화형이 많은 언어에서 스테밍 문제를 해결하기 위해.
• 어형을 기본 어간 또는 근어 형태로 정확하게 줄이는 스테머를 설계하기 위해.
• 정보 검색 작업을 위한 실제 세르비아어 코퍼스에서 스테머의 성능을 평가하기 위해.
• 세르비아어의 풍부한 변화형 파라디그마를 처리할 수 있는 오픈소스 규칙 기반 솔루션을 제공하기 위해.
• 세르비아어 자연어 처리를 위한 실용적이고 효율적인 도구를 기여하기 위해.

제안 방법

• 스테머는 접미사 제거 기반의 규칙 기반 접근 방식을 사용하여 세르비아어 단어의 변화형 접미사를 체계적으로 제거한다.
• 명사, 동사, 형용사 파라디그마를 포함한 세르비아어 문법에 맞게 조정된 사전 정의된 형태론적 규칙 세트를 사용한다.
• 과도한 제거나 잘못된 축소를 방지하기 위해 특정 순서로 접미사 제거 단계를 적용하는 알고리즘을 사용한다.
• 기본 형태 사전과 접미사 탐지 및 제거를 위한 정규 표현식 패턴 세트를 포함한다.
• 정확도와 커버리지 테스트를 위한 코퍼스 기반 평가 프레임워크와 통합된 구현을 한다.
• 언어에 특화된 설계를 통해 세르비아어의 축합 구조를 활용해 최적의 성능을 달성하도록 한다.

실험 결과

연구 질문

• RQ1 규칙 기반 접미사 제거 접근 방식은 세르비아어 변화형 어형을 기본 어간으로 줄이는 데 얼마나 효과적인가?
• RQ2 대표적인 세르비아어 텍스트 코퍼스에서 스테머의 정확도는 어떠한가?
• RQ3 스테머는 세르비아어 명사, 동사, 형용사의 복잡한 변화형 패턴을 어떻게 처리하는가?
• RQ4 스테머는 세르비아어 정보 검색 작업에서 성능 향상에 얼마나 기여하는가?
• RQ5 대규모 애너테이션된 학습 데이터가 필요 없이도 규칙 기반 스테머가 높은 정밀도와 재현율을 달성할 수 있는가?

주요 결과

• 스테머는 테스트 코퍼스에서 90%를 초과하는 정확도로 세르비아어 변화형 어형을 기본 어간으로 줄이는 데 높은 정밀도와 재현율을 달성한다.
• 규칙 기반 접미사 제거 접근 방식은 복잡한 동사 어형 변형과 명사 어간 변화를 포함한 세르비아어의 축합 형태론을 효과적으로 처리한다.
• 시스템은 다양한 품사 간에 강건성을 보이며, 명사, 동사, 형용사 모두에서 일관된 성능을 유지한다.
• 기본 형태 사전의 포함이 어간 추출 정확도를 크게 향상시킨다.
• 특히 비규칙적이고 고도로 변화형이 많은 형태에서 기준 기반 접근 방식보다 커버리지와 정확도 면에서 슈퍼리어한 성능을 보인다.
• 평가 결과는 대규모 애너테이션 코퍼스가 필요 없이도 세르비아어에 대해 규칙 기반 스테머의 실현 가능성을 확인한다.