[논문 리뷰] Using Multiple Sources of Information for Constraint-Based Morphological Disambiguation

Gökhan Tür|ArXiv.org|1996. 07. 30.

Natural Language Processing Techniques인용 수 3

한 줄 요약

이 논문은 터키어와 같은 복합어어를 다루는 언어에 적합한 제약 기반 형태소 해석 해제 시스템을 제시한다. 이 시스템은 수작업으로 작성된 언어학적 규칙, 학습 코퍼스로부터의 무 supervision 학습, 그리고 대상 텍스트의 통계 정보를 통합한다. 이러한 자료들을 조합함으로써, 시스템은 96–97%의 재현율, 93–94%의 정밀도, 그리고 1.03 미만의 평균 불확실한 형태소 분석을 기록하며, 보조 형태소 처리기를 통해 1% 미만의 토큰이 미해결 상태로 남는다.

ABSTRACT

This thesis presents a constraint-based morphological disambiguation approach that is applicable to languages with complex morphology--specifically agglutinative languages with productive inflectional and derivational morphological phenomena. For morphologically complex languages like Turkish, automatic morphological disambiguation involves selecting for each token morphological parse(s), with the right set of inflectional and derivational markers. Our system combines corpus independent hand-crafted constraint rules, constraint rules that are learned via unsupervised learning from a training corpus, and additional statistical information obtained from the corpus to be morphologically disambiguated. The hand-crafted rules are linguistically motivated and tuned to improve precision without sacrificing recall. In certain respects, our approach has been motivated by Brill's recent work, but with the observation that his transformational approach is not directly applicable to languages like Turkish. Our approach also uses a novel approach to unknown word processing by employing a secondary morphological processor which recovers any relevant inflectional and derivational information from a lexical item whose root is unknown. With this approach, well below 1% of the tokens remains as unknown in the texts we have experimented with. Our results indicate that by combining these hand-crafted, statistical and learned information sources, we can attain a recall of 96 to 97% with a corresponding precision of 93 to 94%, and ambiguity of 1.02 to 1.03 parses per token.

연구 동기 및 목표

• 형태소가 매우 풍부한 복합어어 언어, 예를 들어 터키어와 같은 언어에서 형태소 해석 해제 문제를 해결하기 위해.
• 수작업 규칙, 학습된 제약 조건, 코퍼스 통계 정보 등 다양한 정보 자료를 통합하여 해석 해제 성능을 향상시키는 시스템을 개발하기 위해.
• 근어 추론을 통한 분석을 수행하는 보조 형태소 처리기를 활용하여 형태소 처리에서 미해결 단어의 수를 줄이기 위해.
• 높은 재현율과 정밀도를 달성하면서도 형태소 분석의 모호성을 최소화하기 위해.
• 브릴의 변환 기반 접근 방식은 터키어에 직접 적용하기 어려우므로, 제약 기반 방법의 적용 가능성을 확장하기 위해.

제안 방법

• 정확도를 높이되 재현율을 낮추지 않는 방식으로 언어학적으로 유용한 수작업 규칙을 사용한다.
• 학습 코퍼스에서 추가적인 제약 조건 규칙을 추출하기 위해 무 supervision 학습을 적용하여 커버리지와 적응성을 향상시킨다.
• 대상 코퍼스의 통계 정보를 통합하여 해석 해제 결정을 안내한다.
• 미해결 단어는 근어 형태를 추론하고 파생 및 경문적 표지어를 복구하는 데 목적이 있는 보조 형태소 처리기를 통해 분석한다.
• 수작업 규칙, 학습된 제약 조건, 통계 데이터의 세 가지 자료를 제약 기반 추론 프레임워크 내에서 통합한다.
• 모든 자료에서의 통합 증거를 바탕으로 가능한 형태소 분석을 순위 매김함으로써 모호성을 해결한다.

실험 결과

연구 질문

• RQ1 형태소가 매우 풍부한 복합어어 언어, 예를 들어 터키어처럼 경문적 및 파생 형태소가 매우 활발한 언어에서 제약 기반 시스템이 형태소 해석 해제를 효과적으로 처리할 수 있는가?
• RQ2 수작업 규칙, 학습된 제약 조건, 통계 정보를 통합하면 단일 자료 기반 접근 방식에 비해 해석 해제 성능이 어떻게 향상되는가?
• RQ3 보조 형태소 처리기가 형태소 분석에서 미해결 토큰의 수를 얼마나 줄일 수 있는가?
• RQ4 제안된 방법은 높은 재현율과 정밀도를 달성하면서도 형태소 분석의 모호성을 낮추는가?
• RQ5 브릴의 변환 기반 방법이 터키어의 형태소적 구조에 직접 적용되지 않는 상황에서 제약 기반 접근 방식은 터키어에 대해 타당한가?

주요 결과

• 이 시스템은 터키어의 형태소 해석 해제 작업에서 96–97%의 재현율과 93–94%의 정밀도를 달성한다.
• 모호성 비율은 1.02–1.03개의 분석 당 토큰으로 감소하여 높은 해석 해제 신뢰도를 나타낸다.
• 보조 형태소 처리기를 통해 1% 미만의 토큰만이 해석되지 않은 상태로 남는다.
• 수작업 규칙, 학습된 제약 조건, 통계 데이터의 통합은 해석 해제 정확도에 상당한 향상을 이룬다.
• 브릴의 방법과 같은 변환 기반 접근 방식의 한계를 성공적으로 극복하였으며, 이는 터키어의 형태소적 구조에 직접 적용되지 않는다는 점에서 중요하다.
• 높은 형태소 복잡도를 지닌 실제 터키어 텍스트에서도 시스템은 견고한 성능을 보였다.