[논문 리뷰] Urdu Word Segmentation using Conditional Random Fields (CRFs)

Haris Bin Zia, Agha Ali Raza외 1명|arXiv (Cornell University)|2018. 06. 14.

Natural Language Processing Techniques참고 문헌 11인용 수 10

한 줄 요약

이 논문은 우르두어 단어 분할을 위한 조건부 랜덤 필드(CRF) 기반 모델을 제안하며, 공백을 이용한 단어 경계와 제로 폭 비연결자(ZWNJ)를 이용한 서문자 경계를 탐지하기 위해 철자, 언어학적, 형태소적 특징을 활용한다. 수작업으로 태깅된 코퍼스에서 단어 경계 탐지에 대해 F1 스코어 0.97, 서문자 경계 탐지에 대해 F1 스코어 0.85를 기록했으며, 재현 가능성을 위해 코드와 데이터를 공개한다.

ABSTRACT

State-of-the-art Natural Language Processing algorithms rely heavily on efficient word segmentation. Urdu is amongst languages for which word segmentation is a complex task as it exhibits space omission as well as space insertion issues. This is partly due to the Arabic script which although cursive in nature, consists of characters that have inherent joining and non-joining attributes regardless of word boundary. This paper presents a word segmentation system for Urdu which uses a Conditional Random Field sequence modeler with orthographic, linguistic and morphological features. Our proposed model automatically learns to predict white space as word boundary as well as Zero Width Non-Joiner (ZWNJ) as sub-word boundary. Using a manually annotated corpus, our model achieves F1 score of 0.97 for word boundary identification and 0.85 for sub-word boundary identification tasks. We have made our code and corpus publicly available to make our results reproducible.

연구 동기 및 목표

• 불일치하는 공백과 ZWNJ 문자의 사용으로 인해 우르두어 단어 분할에 어려움이 존재하는 문제를 해결하기 위해.
• 맥락적 특징에서 자동으로 단어 및 서문자 경계 탐지를 학습하는 순차 모델링 접근법을 개발하기 위해.
• 아랍 문자의 결합 규칙으로 인해 복잡한 문법적 행동을 보이는 우르두어의 분할 정확도를 향상시키기 위해.
• 수집된 데이터와 소스 코드를 공개하여 재현 가능한 시스템을 구축하기 위해.

제안 방법

• 모델은 우르두어 텍스트의 단어 및 서문자 경계를 예측하기 위해 조건부 랜덤 필드(CRF) 순차 모델을 사용한다.
• 문자 수준의 패턴과 ZWNJ 발생 여부와 같은 철자적 특징을 통합한다.
• 문법적 및 형태소적 특징을 통합하여 문법적 및 형태소적 맥락을 포착한다.
• 감독 학습을 통해 CRF는 공백을 단어 경계로, ZWNJ를 서문자 경계로 예측하도록 학습된다.
• 각 문자 주변의 슬라이딩 윈도우에서 특징을 추출하여 국소적 맥락을 모델링한다.
• 시스템은 수작업으로 태깅된 우르두어 코퍼스에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 불일치하는 공백이 존재하는 우르두어에서 CRF 기반 모델이 단어 경계를 효과적으로 학습할 수 있는가?
• RQ2 우르두어 스크립트에서 제로 폭 비연결자(ZWNJ)로 표시된 서문자 경계를 모델이 탐지할 수 있는가?
• RQ3 철자, 언어학적, 형태소적 특징이 분할 성능 향상에 기여하는 방식은 무엇인가?
• RQ4 모델이 다양한 우르두어 텍스트 패턴과 형태소적 구조에 얼마나 일반화되는가?

주요 결과

• 단어 경계 식별에 대해 F1 스코어 0.97을 기록하여 단어 분리 탐지의 정밀도와 재현율이 매우 높음을 나타낸다.
• ZWNJ를 활용한 서문자 경계 탐지에 대해 F1 스코어 0.85를 기록하여 형태소 분할을 효과적으로 처리함을 보여준다.
• 언어학적 및 형태소적 특징의 통합은 기준 모델 대비 분할 정확도를 크게 향상시킨다.
• 맥락적 특징 학습 덕분에 다양한 우르두어 텍스트 패턴에서 시스템의 성능이 우수하게 유지된다.
• 공개된 코드와 태깅된 코퍼스 덕분에 결과의 완전한 재현이 가능하다.