[논문 리뷰] Tagging and Morphological Disambiguation of Turkish Text

Kemal Oflazer, Ìlker Kuruöz|ArXiv.org|1994. 07. 29.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 터키어의 전체 이중 수준 형태론 사양, 복합어 및 관용어 식별기, 국소적 제약 조건과 히وري스틱을 사용한 형태소 해석 모호성 제거 기능을 통합한 규칙 기반 및 통계 기반 품사 태깅기의 제안한다. 이 시스템은 최소한의 사용자 간섭으로 98–99%의 태깅 정확도를 달성하며, LFG 파서의 모호성을 50% 감소시키고 파싱 속도를 2.5배 향상시킨다.

ABSTRACT

Automatic text tagging is an important component in higher level analysis of text corpora, and its output can be used in many natural language processing applications. In languages like Turkish or Finnish, with agglutinative morphology, morphological disambiguation is a very crucial process in tagging, as the structures of many lexical forms are morphologically ambiguous. This paper describes a POS tagger for Turkish text based on a full-scale two-level specification of Turkish morphology that is based on a lexicon of about 24,000 root words. This is augmented with a multi-word and idiomatic construct recognizer, and most importantly morphological disambiguator based on local neighborhood constraints, heuristics and limited amount of statistical information. The tagger also has functionality for statistics compilation and fine tuning of the morphological analyzer, such as logging erroneous morphological parses, commonly used roots, etc. Preliminary results indicate that the tagger can tag about 98-99\% of the texts accurately with very minimal user intervention. Furthermore for sentences morphologically disambiguated with the tagger, an LFG parser developed for Turkish, generates, on the average, 50\% less ambiguous parses and parses almost 2.5 times faster. The tagging functionality is not specific to Turkish, and can be applied to any language with a proper morphological analysis interface.

연구 동기 및 목표

• 형태소 모호성이 복잡한 고도로 통합된 언어인 터키어를 위한 강력한 품사 태깅 시스템 개발
• 국소적 주변 환경 제약 조건, 히وري스틱 및 제한된 통계 데이터를 활용한 터키어 텍스트의 형태소 해석 모호성 해결
• 약 24,000개의 어간 단어로 구성된 어휘와 함께 전체 이중 수준 형태론 사양을 통합하여 정확한 형태소 분석 수행
• 지속적인 개선을 위한 맞춤 조정과 오류 로깅 기능을 통한 형태소 분석기의 향상 지원
• 파싱과 같은 후속 NLP 작업에 적용 가능한 태깅 프레임워크의 타당성 입증

제안 방법

• 약 24,000개의 어간 단어로 구성된 어휘 기반의 전체 스케일 이중 수준 형태론 모델을 사용하여 가능한 어형을 생성한다.
• 복합어 및 관용어 식별기를 통합하여 비조합적 어휘 단위를 처리한다.
• 경쟁적 분석 간의 모호성을 제거하기 위해 국소적 맥락 제약 조건과 수작업 히وري스틱을 사용해 형태소 해석을 수행한다.
• 제한된 통계 정보를 활용해 해석 결정을 안내함으로써 대규모 애너테이션 코퍼스가 필요 없이도 정확도를 향상시킨다.
• 오류 있는 파싱과 자주 사용되는 어간을 위한 로깅 메커니즘을 포함하여 반복적 개선을 지원한다.
• LFG 파서와 통합하여 후속 파싱 성능 및 모호성 감소 효과를 평가한다.

실험 결과

연구 질문

• RQ1 규칙 기반 형태소 해석 모호성 제거 시스템은 최소한의 사용자 입력으로도 터키어 텍스트 태깅에서 높은 정확도를 달성할 수 있는가?
• RQ2 형태소 해석 모호성 제거가 터키어 문장의 문법적 파싱에서 모호성을 어느 정도 감소시키는가?
• RQ3 이중 수준 형태론, 히وري스틱, 제한된 통계의 조합이 형태소 모호성을 얼마나 효과적으로 해결하는가?
• RQ4 이 태깅 시스템은 품사 태깅을 초월해 다른 NLP 응용 분야에서 재사용 가능한가?
• RQ5 이 태거의 출력을 사용할 경우 파싱 속도 향상과 모호성 감소에서 어떤 성능 향상이 달성되는가?

주요 결과

• 이 태거는 최소한의 사용자 간섭으로 터키어 텍스트 태깅에서 98–99%의 정확도를 달성하여 높은 내구성과 신뢰성을 입증한다.
• 태거가 처리한 문장에 대해 LFG 파서는 태깅되지 않은 입력에 비해 50% 적은 수의 모호한 문법적 파싱을 생성한다.
• 태거의 출력을 사용할 경우 LFG 파서는 약 2.5배 더 빠르게 실행되어 뚜렷한 효율성 향상을 보인다.
• 시스템의 로깅 및 통계 수집 기능은 오류 추적과 사용 패턴 분석을 통해 형태소 분석기의 효과적 개선을 가능하게 한다.
• 이 태깅 프레임워크는 일반화 가능하며, 적절한 형태소 분석 인터페이스를 갖춘 다른 언어로도 적응 가능하다.