[논문 리뷰] TAKTAG: Two-phase learning method for hybrid statistical/rule-based part-of-speech disambiguation

Geunbae Lee, Jong-Hyeok Lee외 1명|ArXiv.org|1995. 04. 26.

Speech Recognition and Synthesis참고 문헌 9인용 수 4

한 줄 요약

이 논문은 히든 마르코프 모델(HMM)과 브릴 스타일의 규칙 기반 태거를 조합한, 한국어의 하이브리드 통계/규칙 기반 형태소 품사 품사 분류를 위한 이단계 학습 방법인 TAKTAG을 제안한다. 이 방법은 먼저 HMM 기반 태깅을 적용한 후, 규칙 기반 학습을 통해 오류를 수정함으로써, 문법적으로 복잡한 한국어, 특히 계층적이고 유연한 태그 세트에 대해 향상된 정확도와 유연성을 달성한다.

ABSTRACT

Both statistical and rule-based approaches to part-of-speech (POS) disambiguation have their own advantages and limitations. Especially for Korean, the narrow windows provided by hidden markov model (HMM) cannot cover the necessary lexical and long-distance dependencies for POS disambiguation. On the other hand, the rule-based approaches are not accurate and flexible to new tag-sets and languages. In this regard, the statistical/rule-based hybrid method that can take advantages of both approaches is called for the robust and flexible POS disambiguation. We present one of such method, that is, a two-phase learning architecture for the hybrid statistical/rule-based POS disambiguation, especially for Korean. In this method, the statistical learning of morphological tagging is error-corrected by the rule-based learning of Brill [1992] style tagger. We also design the hierarchical and flexible Korean tag-set to cope with the multiple tagging applications, each of which requires different tag-set. Our experiments show that the two-phase learning method can overcome the undesirable features of solely HMM-based or solely rule-based tagging, especially for morphologically complex Korean.

연구 동기 및 목표

• 한국어에서 장거리 및 어휘적 종속성을 포착하지 못하는 순수 통계적 HMM 기반 품사 태깅의 한계를 해결하기 위해.
• 새로운 태그 세트나 언어에 적응할 때 비용이 많이 들고 정확도가 떨어지는 규칙 기반 시스템의 경직성과 정확도 부족 문제를 해결하기 위해.
• 다양한 태그 세트가 필요한 여러 태깅 응용 프로그램에 적합한 강력하고도 민감한 품사 분류 시스템을 개발하기 위해.
• 통계적 접근과 규칙 기반 접근을 통합하여 각각의 장점을 살리고 단점을 최소화하기 위해.
• 다양한 자연어 처리 응용 프로그램을 지원할 수 있도록 계층적이고 확장 가능한 한국어 품사 태그 세트를 설계하기 위해.

제안 방법

• 기본적인 품사 태그를 생성하기 위해 히든 마르코프 모델(HMM)을 적용하여 초도 형태소 태깅을 수행한다.
• 브릴의 접근 방식을 영감으로 삼은 규칙 기반 태거를 사용하여, 변환 규칙을 반복적으로 적용함으로써 HMM 출력의 오류를 수정한다.
• 개발 세트를 기반으로 규칙 기반 컴포onent을 학습하여, 맥락에 민감한 규칙을 학습함으로써 태깅 정확도를 향상시킨다.
• 다양한 수준의 정밀도를 지원하고 다양한 응용 요구사항에 적응할 수 있도록 계층적 한국어 품사 태그 세트를 설계한다.
• 이중 단계 학습 아키텍처를 구현한다: 첫 번째 단계는 통계적(HMM), 두 번째 단계는 규칙 기반(오류 수정), 두 번째 단계에서 첫 번째 단계의 출력을 개선한다.
• 태그 세트의 쉽게 확장 가능하고 새로운 언어 데이터나 도메인에 쉽게 적응할 수 있도록 시스템의 민감성을 유지한다.

실험 결과

연구 질문

• RQ1 문법적으로 복잡한 언어인 한국어에 대해 순수 통계적 또는 순수 규칙 기반 태깅보다 하이브리드 통계/규칙 기반 접근이 더 우수한 성능을 보일 수 있는가?
• RQ2 규칙 기반 오류 수정 단계가 한국어 HMM 기반 품사 태깅의 정확도를 어느 정도 향상시킬 수 있는가?
• RQ3 장거리 및 어휘적 종속성을 HMM이 다루지 못하는 범위를 넘어서 이중 단계 학습 아키텍처가 얼마나 효과적으로 처리할 수 있는가?
• RQ4 계층적이고 민감한 태그 세트가 다양한 자연어 처리 응용 프로그램에 대해 다양한 태깅 요구사항을 효과적으로 지원할 수 있는가?
• RQ5 다양한 테스트 세트와 태그 세트 구성에서, 이 시스템의 강건성과 적응 가능성 측면에서 성능은 어떠한가?

주요 결과

• 이중 단계 학습 방법은 HMM 기반 태깅에 비해 구조적 오류와 어휘적 오류를 수정함으로써 품사 분류 정확도를 크게 향상시킨다.
• 규칙 기반 보완 단계는 HMM이 단독으로 모델링할 수 없는 장거리 종속성과 어휘 맥락을 효과적으로 포착한다.
• 하이브리드 시스템은 순수 통계적 또는 순수 규칙 기반 시스템보다 더 강건하고 민감한 성능을 보인다.
• 계층적 한국어 태그 세트는 다양한 자연어 처리 응용 프로그램에 대해 다양한 수준의 태깅 정밀도를 효과적으로 지원할 수 있다.
• 전통적인 HMM이 좁은 맥락 창을 가진 탓에 실패하는, 문법적으로 복잡한 한국어 텍스트에서 뛰어난 성능을 달성한다.
• 시스템은 높은 민감성을 유지하여 새로운 태그 세트로의 확장과 새로운 언어 데이터 또는 도메인에의 적응이 용이하다.