[논문 리뷰] Tagging accurately -- Don't guess if you know

Pasi Tapanainen, Atro Voutilainen|ArXiv.org|1994. 08. 16.

Natural Language Processing Techniques참고 문헌 1인용 수 16

한 줄 요약

이 논문은 지식 기반 태거(ENGCG)와 통계적 태거(Xerox Tagger)를 조합한 하이브리드 형태소 태깅 시스템을 제시한다. 이 시스템은 2,700단어로 구성된 미사용 테스트 코퍼스에서 98.5%의 정확도를 달성한다. 언어학적 규칙을 사용해 신뢰할 수 있는 모호성을 해결하고, 나머지 부분은 통계 모델이 처리함으로써, 순수한 통계적 태거보다 성능이 뛰어나며, 오류를 최소 50% 이상 감소시킨다.

ABSTRACT

We discuss combining knowledge-based (or rule-based) and statistical part-of-speech taggers. We use two mature taggers, ENGCG and Xerox Tagger, to independently tag the same text and combine the results to produce a fully disambiguated text. In a 27000 word test sample taken from a previously unseen corpus we achieve 98.5% accuracy. This paper presents the data in detail. We describe the problems we encountered in the course of combining the two taggers and discuss the problem of evaluating taggers.

연구 동기 및 목표

• 지식 기반 및 통계적 접근 방식을 융합하여 형태소 태깅 정확도를 향상시키는 것.
• 지역적 맥락 제약로 인해 언어학적으로 무지한 결정을 내리는 순수 통계적 태거의 한계를 보완하는 것.
• 통계 모델이 제대로 처리하지 못하는 경우를 위해 신뢰할 수 있는 문법 규칙을 사용해 형태소 태깅의 모호성을 줄이는 것.
• 미사용 텍스트에서 지식 기반 및 통계적 태거를 융합한 효과를 평가하여 오류율을 최소화하는 것.
• 통계 모델을 단독으로 사용하는 것보다, 통계 처리 이전에 언어학 지식을 적용할 경우 더 우수한 성능을 낼 수 있음을 보여주는 것.

제안 방법

• 시스템은 두 개의 독립된 태거인 ENGCG(지식 기반)와 Xerox Tagger(통계적)를 사용하며, 동일한 입력 텍스트를 각각 처리한다.
• ENGCG는 1,100개의 매우 신뢰할 수 있는 문법 기반 제약 조건과 200개의 히우리스틱 제약 조건을 적용하여 명확하거나 희귀한 모호성을 해결한다.
• 두 태거가 동일한 태그를 선택할 경우 결과를 수락하고, 충돌이 발생할 경우 지식 기반 시스템의 출력을 우선시한다.
• ENGCG에서 해결되지 않은 모호성에 대해서는 통계 태거의 선택에 가장 가까운 태그를 선택한다.
• ENGCG와 Xerox Tagger가 사용하는 서로 다른 태그 집합을 일관되게 비교하고 융합할 수 있도록 맞춤형 매핑 모듈을 구현한다.
• 최종 출력은 완전히 모호성이 제거된 상태이며, 지식 기반의 정밀도와 통계적 커버리지의 전략적 융합을 통해 오류가 감소한다.

실험 결과

연구 질문

• RQ1 지식 기반 및 통계적 형태소 태깅을 융합하면, 개별적으로 사용할 경우보다 전체 정확도를 뛰어넘는가?
• RQ2 언어학적 규칙이 통계 모델이 제대로 처리하지 못하는 모호한 케이스를 어느 정도 해결할 수 있는가?
• RQ3 지식 기반 처리와 통계 처리의 적용 순서가 최종 모호성 제거 정확도에 어떤 영향을 미치는가?
• RQ4 다른 태거 간 태그 집합 불일치가 시스템 성능에 어떤 영향을 미치는가?
• RQ5 하이브리드 시스템이 최신 통계적 태거보다 오류율을 최소 50% 이상 감소시킬 수 있는가?

주요 결과

• 하이브리드 시스템은 2,700단어로 구성된 미사용 테스트 코퍼스에서 98.5%의 정확도를 기록했으며, 오류율은 1.5%에 그쳤다.
• 최고 성능을 보인 통계적 태거(Xerox Tagger)만을 사용한 경우 대비 오류율이 최소 50% 이상 감소했다.
• 통계적 태거가 범한 오류의 약 75~80%가 지식 기반 시스템에 의해 수정되었으며, 이는 언어학적 제약 조건의 높은 신뢰성을 시사한다.
• 모호성이 해결되지 않은 단어는 전체의 3~7%에 불과했으며, 주로 전치사와 복합 부사의 조사와 같은 어려운 케이스였다.
• 통계 처리 이전에 지식 기반 구성 요소를 적용한 결과, 통계 모델을 단독으로 사용하는 것보다 훨씬 뛰어난 성능을 보였다.
• 태그 집합 매핑 오류가 발생했음에도 불구하고, 하이브리드 시스템의 성능은 당시 보고된 바 있는 어떤 완전한 모호성 제거 태거보다 뛰어났다.