[논문 리뷰] Building a Lemmatizer and a Spell-checker for Sorani Kurdish

Shahin Salavati, Sina Ahmadi|arXiv (Cornell University)|2018. 09. 27.

Natural Language Processing Techniques참고 문헌 4인용 수 17

한 줄 요약

이 논문은 모ор폴로지 규칙과 n-gram 언어 모델을 조합한 하이브리드 접근 방식을 사용하여 개발한 Sorani Kurdish어를 위한 두 가지 핵심 NLP 도구인 Peyv(어형 정규화기)와 Rênûs(맞춤법 검사기)를 제시한다. 어형 정규화기는 86.7%의 정확도를 달성하였고, 맞춤법 검사기는 어휘집을 사용할 경우 96.4%의 정확도를 기록하였으며, 어휘집 없이도 87%의 정확도를 확보하여 저자원 언어인 이 언어의 NLP 성과를 크게 향상시켰다.

ABSTRACT

The present paper aims at presenting a lemmatization and a word-level error correction system for Sorani Kurdish. We propose a hybrid approach based on the morphological rules and a n-gram language model. We have called our lemmatization and error correction systems Peyv and Rênûs respectively, which are the first tools presented for Sorani Kurdish to the best of our knowledge. The Peyv lemmatizer has shown 86.7% accuracy. As for Rênûs, using a lexicon, we have obtained 96.4% accuracy while without a lexicon, the correction system has 87% accuracy. As two fundamental text processing tools, these tools can pave the way for further researches on more natural language processing applications for Sorani Kurdish.

연구 동기 및 목표

• Sorani Kurdish어—저자원이며 형태적으로 복잡한 언어—를 위한 첫 번째 어형 정규화 및 맞춤법 검사 도구를 개발하는 것.
• 쿠르드어에 대한 NLP 도구의 부족을 해결하기 위해 강력한 규칙 기반 및 통계 기반 하이브리드 시스템을 구축하는 것.
• 정확한 어형 정규화 및 오류 수정을 통해 Sorani Kurdish어의 후속 NLP 응용 프로그램을 향상시키는 것.
• 어휘집 사용과 n-gram 빈도 필터링이 맞춤법 검사 성능에 미치는 영향을 평가하는 것.

제안 방법

• 1800만 단어 분량의 Pewan 코퍼스에서 학습된 n-gram 언어 모델과 Sorani Kurdish어의 모어폴로지 규칙을 조합한 하이브리드 접근 방식.
• Peyv의 어형 정규화는 어간 기반 어형으로 변형된 어형 및 파생어 형태를 기본 어근으로 축소시키는 데 모어폴로지 규칙을 사용한다.
• Rênûs의 맞춤법 검사는 빈도와 맥락을 기반으로 후보 교정 사항을 순위 매기는 데 n-gram 언어 모델을 사용한다.
• 어휘집에 태그가 부착된 명사와 동사를 통합하여 특히 어휘 오류의 정확도를 향상시킨다.
• 단어 빈도와 편집 거리 사이의 균형을 맞추기 위해 파rameter α를 사용하는 가중치 스코어 함수(식 1)를 적용한다.
• 시스템 효율성과 정확도를 향상시키기 위해 저빈도 n-gram을 제거한다.

실험 결과

연구 질문

• RQ1 모어폴로지 규칙과 n-gram 언어 모델을 조합한 하이브리드 시스템이 Sorani Kurdish어 어휘를 효과적으로 어형 정규화할 수 있는가?
• RQ2 어휘집을 통합할 경우 Sorani Kurdish어의 맞춤법 검사 정확도가 얼마나 향상되는가?
• RQ3 n-gram의 빈도 필터링이 맞춤법 검사 시스템 성능에 어떤 영향을 미치는가?
• RQ4 정확도를 극대화하기 위해 가중치 교정 스코어 함수에서 α의 최적 값은 무엇인가?

주요 결과

• Peyv 어형 정규화기는 86.7%의 정확도를 기록하였으며, 대부분의 오류는 어형 추출에 영향을 미치는 철자 오류에서 기인하였다.
• Rênûs 맞춤법 검사기는 어휘집을 사용할 경우 96.4%의 정확도를 달성하여 어휘 지식의 상당한 이점이 있음을 입증하였다.
• 어휘집 없이도 Rênûs는 4,5-gram 모델을 사용해 87%의 정확도를 기록하였으며, 순수 통계적 환경에서도 뛰어난 성능을 보였다.
• 저빈도 n-gram을 필터링함으로써 시스템 정확도가 향상되었으며, 어휘집 없이도 4,5-gram 모델이 가장 높은 성능을 보여 87%의 정확도를 기록하였다.
• 스코어 함수의 파rameter α는 측정 가능한 영향을 미쳤으며, 높은 값(예: α=100)을 사용할 경우 4,5-gram 구성에서 85.4%의 정확도를 기록하였다.
• 이 연구는 어형 정규화 품질이 맞춤법 검사 성능에 직접적인 영향을 미친다는 점을 확인하였으며, 잘못된 어형 정규화는 잘못된 교정 결과를 초래한다.