[논문 리뷰] Morphological annotation of Korean with Directly Maintainable Resources

Ivan Berlocher, Hyun-Gue Huh외 2명|ArXiv.org|2007. 11. 21.

Natural Language Processing Techniques참고 문헌 9인용 수 3

한 줄 요약

이 논문은 전통적인 형태소 규칙에 의존하지 않고 직접 유지보수 가능한 어간 사전, 어미 전이기계, 이형형태 생성기 등을 사용하는 한국어 자원 기반 형태소 주석 시스템을 제시한다. 학습 없이도 89%의 재현율을 달성하며, 초당 1,210단어의 속도로 텍스트를 처리하고, 통합형 문맥 분석 파이프라인에 적합한 효율적이고 업데이트 가능한 언어 처리를 가능하게 한다. 이는 분할어형 언어 NLP의 문법 분석에 기여한다.

ABSTRACT

This article describes an exclusively resource-based method of morphological annotation of written Korean text. Korean is an agglutinative language. Our annotator is designed to process text before the operation of a syntactic parser. In its present state, it annotates one-stem words only. The output is a graph of morphemes annotated with accurate linguistic information. The granularity of the tagset is 3 to 5 times higher than usual tagsets. A comparison with a reference annotated corpus showed that it achieves 89% recall without any corpus training. The language resources used by the system are lexicons of stems, transducers of suffixes and transducers of generation of allomorphs. All can be easily updated, which allows users to control the evolution of the performances of the system. It has been claimed that morphological annotation of Korean text could only be performed by a morphological analysis module accessing a lexicon of morphemes. We show that it can also be performed directly with a lexicon of words and without applying morphological rules at annotation time, which speeds up annotation to 1,210 word/s. The lexicon of words is obtained from the maintainable language resources through a fully automated compilation process.

연구 동기 및 목표

• 형태소 규칙 엔진에 의존하지 않는 한국어 형태소 주석 시스템을 개발하는 것.
• 직접 유지보수 가능한 언어 자원(예: 어간 어휘, 어미 전이기계)만을 사용하여 고정밀 주석을 가능하게 하는 것.
• 문법 분석 파이프라인에 통합하기에 적합한 빠른 주석 속도를 확보하는 것.
• 언어 자원의 수동 업데이트를 통해 시스템 성능을 제어하고 발전시킬 수 있도록 보장하는 것.
• 주석 시점에 형태소 수준의 어휘나 규칙 기반 분석 없이도 한국어 형태소 주석이 가능하다는 것을 입증하는 것.

제안 방법

• 시스템은 유지보수 가능한 구성 요소에서 자동으로 컴iles된 어간 어휘를 주요 언어 자원으로 사용한다.
• 사전에 정의된 형태소 패턴에 기반해 어미 전이기계를 적용하여 단어를 형태소로 분해한다.
• 모든 이형형태 생성은 전용 전이기계가 담당하며, 정확한 파생형 변형을 생성한다.
• 런타임에는 규칙 기반 처리가 전혀 없으며, 사전에 컴파일된 유지보수 가능한 자원에만 의존한다.
• 표준 태그셋보다 3~5배 더 세밀한 태그셋을 사용하여, 풍부한 언어학적 태그가 부여된 형태소 그래프를 구축한다.
• 모든 구성 요소—어휘, 전이기계, 생성 규칙—은 수동으로 쉽게 업데이트할 수 있도록 설계되어 장기적인 유지보수성을 확보한다.

실험 결과

연구 질문

• RQ1 형태소 수준의 어휘나 런타임 형태소 규칙에 의존하지 않고도 한국어 형태소 주석을 효과적으로 수행할 수 있는가?
• RQ2 유지보수 가능한 수동 업데이트가 가능한 언어 자원만으로도 높은 재현율과 빠른 속도를 달성할 수 있는가?
• RQ3 유지보수 가능한 구성 요소에서 자동으로 컴파일된 단어 기반 어휘를 만들어 정확한 형태소 분석을 수행할 수 있는가?
• RQ4 규칙이 없는 자원 기반 시스템의 성능은 기존의 규칙 기반 형태소 분석기와 비교해 재현율과 속도 측면에서 어떻게 다른가?
• RQ5 언어 자원의 직접적인 유지보수를 통해 시스템의 정확도와 동작 방식을 얼마나 제어할 수 있는가?

주요 결과

• 학습 없이 기준 주석이 부여된 코퍼스에서 89%의 재현율을 달성한다.
• 주석 속도가 초당 1,210단어에 이르며, 기존 규칙 기반 접근보다 현저히 빠르다.
• 어휘와 전이기계의 수동 업데이트를 통해 시스템 성능을 직접 제어할 수 있다.
• 태그셋의 세밀함은 표준 태그셋보다 3배에서 5배 더 높아, 세밀한 언어학적 주석이 가능하다.
• 형태소 수준의 어휘가 필요 없이도 성공적으로 회피함으로써, 단어 수준의 자원만으로도 정확한 형태소 주석이 가능하다는 점을 입증한다.
• 완전히 자동화된 컴파일 과정을 통해 어휘 사전이 기반 유지보수 자원과 일관성을 유지한다.