[논문 리뷰] FST Based Morphological Analyzer for Hindi Language

Deepak Kumar, Manjeet Singh외 1명|arXiv (Cornell University)|2012. 07. 23.

Natural Language Processing Techniques참고 문헌 9인용 수 12

한 줄 요약

이 논문은 SFST 도구를 사용하여 힌두어를 위한 FST 기반 형태소 분석기를 제시한다. 루트 어간 어휘를 구축하고, 변화형 및 파생 규칙를 적용하여 어형을 생성한다. 스탠포드 MAXENT 태거를 사용한 품사 태깅 파이프라인에서 평가된 결과, 이 시스템은 알려진 단어에서 97%의 형태소 분석 정확도와 87%의 품사 태깅 정확도를 달성하였으며, 알려지지 않은 단어에서는 80%의 정확도를 보였다.

ABSTRACT

Hindi being a highly inflectional language, FST (Finite State Transducer) based approach is most efficient for developing a morphological analyzer for this language. The work presented in this paper uses the SFST (Stuttgart Finite State Transducer) tool for generating the FST. A lexicon of root words is created. Rules are then added for generating inflectional and derivational words from these root words. The Morph Analyzer developed was used in a Part Of Speech (POS) Tagger based on Stanford POS Tagger. The system was first trained using a manually tagged corpus and MAXENT (Maximum Entropy) approach of Stanford POS tagger was then used for tagging input sentences. The morphological analyzer gives approximately 97% correct results. POS tagger gives an accuracy of approximately 87% for the sentences that have the words known to the trained model file, and 80% accuracy for the sentences that have the words unknown to the trained model file.

연구 동기 및 목표

• 히브리어와 같은 고도로 변화형이 많은 언어인 힌두어에 대해 효율적인 형태소 분석기를 개발하기 위해 유한 상태 변환기(FST) 기법을 사용한다.
• 기본 어간 어휘를 체계적으로 구축하고, 변화형 및 파생형 어형을 생성하기 위한 규칙를 정의한다.
• 형태소 분석기를 품사 태깅 파이프라인에 통합하여 힌두어 텍스트의 태깅 정확도를 향상시킨다.
• 수동으로 태깅된 코퍼스를 사용하여 형태소 분석기의 성능과 품사 태깅에 미치는 영향을 평가한다.

제안 방법

• 저자들은 힌두어를 위한 FST 기반 형태소 분석기를 구현하기 위해 SFST(스투트가르트 유한 상태 변환기) 도구를 사용한다.
• 형태소 생성의 기초가 되는 루트 어간 어휘를 수동으로 수집한다.
• FST 전이를 사용하여 루트 어간에서 다양한 어형을 생성하기 위해 변화형 및 파생 규칙을 정의한다.
• 스탠포드 품사 태거의 MAXENT(최대 엔트로피) 모델을 사용하여 형태소 분석기를 품사 태깅 시스템에 통합한다.
• 단어-태그 연관성을 학습하기 위해 수동으로 태깅된 힌두어 코퍼스를 기반으로 시스템을 훈련시킨다.
• 입력 문장을 품사 태깅 이전에 형태소 분석기로 처리하여 어형 인식 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 히브리어처럼 높은 변화형 복잡성을 지닌 언어에서 FST 기반 접근법의 형태소 분석 효과는 어떠한가?
• RQ2 형태소 분석기를 통합함으로써 힌두어의 품사 태깅 정확도는 어느 정도 향상되는가?
• RQ3 시험 세트에서 알려진 단어와 알려지지 않은 단어에 대해 형태소 분석기의 성능은 어떠한가?
• RQ4 SFST는 다른 FST 도구와 비교해 힌두어 처리 시 구현 효율성과 정확도 측면에서 어떤가?

주요 결과

• FST 기반 형태소 분석기는 힌두어 어형을 정확히 분석하는 데 약 97%의 정확도를 달성한다.
• 모델 파일에 등재된 단어를 포함한 문장에서 품사 태거는 87%의 정확도를 기록한다.
• 모델에 등재되지 않은 단어를 포함한 문장에서는 80%의 정확도를 기록하여, 어휘 외 단어에 대한 강건성을 보여준다.
• 형태소 분석기를 품사 태깅 파이프라인에 통합함으로써 어형 인식 능력 향상으로 전체 성능 향상이 이루어졌다.