[논문 리뷰] Creating a tagset, lexicon and guesser for a French tagger

Jean-Pierre Chanod, Pasi Tapanainen|ArXiv.org|1995. 03. 02.

Natural Language Processing Techniques참고 문헌 1인용 수 26

한 줄 요약

이 논문은 유한상태변환기를 사용하여 기존 형태소 분석기를 새로운 품사 품사표로 변환함으로써 프랑스어 품사 태거를 위한 품사표, 어휘집, 어휘 추측기를 제시한다. 추측기는 알려지지 않은 단어에서 85%의 완벽한 태깅 정확도를 달성하며, 92%의 단어가 필요한 모든 태그를 받는다. 이는 형태소 및 철자 패턴 인식을 통해 언어 외 단어에 대한 뛰어난 내성성을 보여준다.

ABSTRACT

We earlier described two taggers for French, a statistical one and a constraint-based one. The two taggers have the same tokeniser and morphological analyser. In this paper, we describe aspects of this work concerned with the definition of the tagset, the building of the lexicon, derived from an existing two-level morphological analyser, and the definition of a lexical transducer for guessing unknown words.

연구 동기 및 목표

• 통계적 및 제약 기반 태깅을 모두 지원하면서도 모호성을 최소화하는 작고 실용적인 프랑스어 품사표를 설계하기 위해.
• 기존의 이중 수준 형태소 분석기를 유한상태변환기 기반 어휘집으로 변환하여 새로운 품사표와 정렬하기 위해.
• 형태소 및 철자 패턴을 사용하여 알려지지 않은 단어의 품사 태그를 정확히 할당하는 어휘 추측기를 개발하기 위해.
• 특히 대문자, 철자 오류, 복합어를 중심으로 언어 외 단어에서 추측기의 성능을 평가하기 위해.
• 품사표, 어휘집, 추측기 간의 호환성을 확보하여 필요에 따라 태깅 후에 더 세밀한 구분(예: 시제, 어법)을 해소할 수 있도록 하기 위해.

제안 방법

• 88개의 품사 태그로 구성된 품사표를 정의하여, 태깅 단계에서 신뢰성 있게 구분할 수 없는 동사 시제 및 어법 등의 구분을 통합함으로써 통계적 태거 성능을 향상시켰다.
• 기존의 이중 수준 형태소 분석기를 재사용하고, 새로운 품사표와 정렬하기 위해 매핑 규칙을 사용하여 유한상태변환기 기반 어휘집으로 변환하였다.
• 접두사, 접미사, 내부 구조 및 철자적 특징(예: 야광점, 연자음, 대문자)을 분석함으로써 어형을 분석하는 어휘 추측기를 설계하였다.
• 신문 코퍼스의 알려지지 않은 단어에 추측기를 적용하여, 형태소의 타당성에 기반한 태그 분류 및 어근과 일치하지 않는 태그의 거부를 수행하였다.
• 두 단계 평가를 실시함: 첫 번째로 대문자로 시작하는 알려지지 않은 단어(가정된 고유명사)를 평가하고, 두 번째로 대문자 없는 알려지지 않은 단어를 평가하여 태그 할당의 완전성과 정확도를 측정하였다.
• 폐쇄계 어휘(예: 전치사, 접속사)는 기본 어휘집에 의해 완전히 커버되며, 오류를 방지하기 위해 추측기 히ュ리스틱에서 제외하였다.

실험 결과

연구 질문

• RQ1 어떻게 통계적 및 제약 기반 태깅을 모두 지원하면서도 모호성을 최소화하는 작고 효과적인 프랑스어 품사표를 설계할 수 있는가?
• RQ2 기존의 이중 수준 형태소 분석기를 새로운 품사표와 호환되는 유한상태변환기 기반 어휘집으로 얼마나 잘 변환할 수 있는가?
• RQ3 형태소 및 철자 패턴 기반 추측기는 알려지지 않은 프랑스어 단어의 정확한 품사 태그를 얼마나 효과적으로 할당하는가?
• RQ4 추측기의 주요 실패 원인은 무엇이며, 철자 오류, 폐쇄계 어휘, 또는 외래어와 어떤 관련이 있는가?
• RQ5 태거가 이를 분류하지 못하더라도, 후속 단계에서 추가 어휘집 검색을 통해 시제, 어법 등의 중요한 구분을 유지할 수 있는가?

주요 결과

• 추측기는 모든 알려지지 않은 단어 중 85%를 완벽한 정확도로 태깅하여 언어 외 단어에 대한 뛰어난 내성성을 입증하였다(모든 필요한 태그가 포함되고 불필요한 태그가 없음).
• 대문자 없는 알려지지 않은 단어의 경우 86%가 모든 필요한 태그를 받았고, 70%는 불필요한 태그가 없었으며, 이는 형태소 추론의 높은 정밀도를 나타낸다.
• 대문자로 시작하는 알려지지 않은 단어는 95% 이상의 정확도로 고유명사로 정확히 태깅되었으며, 주로 외래어나 타동사어로 인한 오류가 발생하였다.
• 누락된 태그의 대부분(총 118개)은 다른 한편으로는 명사나 과거 participle로 올바르게 태깅된 단어에 대한 형용사 태그였으며, 이는 구문적 역할의 겹침이 이러한 오류의 영향을 줄임을 시사한다.
• 추측기의 주요 과제는 철자 오류가 있는 불규칙 동사(예: constuit), 외래어(예: at, born, levantarse), 첫 번째 요소에만 복수 표시가 있는 복합명사(예: rencontres-télé)였다.
• 시스템은 추가 어휘집 검색을 통해 태거가 이를 분류하지 못하더라도 시제, 어법 등의 더 세밀한 구분을 후속 단계에서 해소할 수 있도록 하여 정보를 유지한다.