[논문 리뷰] Comparing a statistical and a rule-based tagger for German

Martin Volk, Gerold Schneider|ArXiv.org|1998. 11. 11.

Natural Language Processing Techniques참고 문헌 4인용 수 14

한 줄 요약

이 논문은 동일한 학습 및 테스트 코퍼스와 품사 태깅 체계를 사용하여 독일어의 통계적 태거(TreeTagger)와 규칙 기반 태거(Brill-Tagger)를 비교한다. 둘 다 약 5%의 오류율을 기록하지만, 통계적 태거가 규칙 기반 태거보다 약 0.5–1% 높은 정확도를 보이며, 특히 알려지지 않은 단어에서 유의미한 성능 향상을 보인다. 순차적으로 둘을 조합하는 것은 성능 향상에 기여하지 않으며, 규칙 기반 태거는 희귀 또는 알려지지 않은 형태에서 성능이 열 劣하다. 이는 더 나은 다의어 처리 능력에도 불구하고 성능이 열 劣하다는 점에서 주목할 만하다.

ABSTRACT

In this paper we present the results of comparing a statistical tagger for German based on decision trees and a rule-based Brill-Tagger for German. We used the same training corpus (and therefore the same tag-set) to train both taggers. We then applied the taggers to the same test corpus and compared their respective behavior and in particular their error rates. Both taggers perform similarly with an error rate of around 5%. From the detailed error analysis it can be seen that the rule-based tagger has more problems with unknown words than the statistical tagger. But the results are opposite for tokens that are many-ways ambiguous. If the unknown words are fed into the taggers with the help of an external lexicon (such as the Gertwol system) the error rate of the rule-based tagger drops to 4.7%, and the respective rate of the statistical taggers drops to around 3.7%. Combining the taggers by using the output of one tagger to help the other did not lead to any further improvement.

연구 동기 및 목표

• 동일한 조건에서 독일어에 대해 통계적 태거(TreeTagger)와 규칙 기반 태거(Brill-Tagger)의 성능을 철저히 비교하는 것.
• 외부 어휘집(Gertwol 등)이 두 태거 유형의 태깅 정확도에 미치는 영향을 평가하는 것.
• 태거를 순차적으로 조합함으로써 전체 성능 향상 여부를 조사하는 것.
• 특히 알려지지 않은 단어와 다의어 토큰에 대한 오류 패턴의 차이를 분석하는 것.
• 뉴스 및 행정 문서와 같은 다양한 텍스트 유형에 대한 두 태거의 견고성 평가

제안 방법

• Frankfurter Rundschau 소속 70,000 토큰 코퍼스를 동일하게 사용하여 STTS 태깅 체계(숫자 및 문자 조합 수의 구분을 위해 약간 수정)로 두 태거를 학습.
• 학습(60,710 토큰)과 테스트(8,887 토큰)로 7:1 비율로 분할하며 문장 수준의 구조를 유지.
• Gertwol 외부 어휘집을 적용하여 알려지지 않은 단어, 특히 숫자 조합 수와 고유명사의 인식을 향상.
• 태거를 순차적으로 조합하기 위해 한 태거의 출력을 다른 태거의 어휘집 또는 학습 데이터로 활용하고, 재학습 및 재평가를 실시.
• 텍스트 유형 평가를 위해 뉴스 텍스트로 학습한 모델을 새로운 행정 텍스트 코퍼스(38,007 토큰)에 적용하여 알려지지 않은 단어 비율이 높은 환경에서의 성능 평가.
• 알려지지 않은 단어와 다의어 토큰에 집중한 세부적인 오류 분석을 실시하며, 태거의 행동 및 오류 패턴을 비교.

실험 결과

연구 질문

• RQ1 동일한 독일어 코퍼스와 태깅 체계에서 학습 및 테스트된 통계적 태거(TreeTagger)와 규칙 기반 태거(Brill-Tagger)의 오류율은 어떻게 비교되는가?
• RQ2 외부 어휘집(Gertwol)은 각 태거의 성능, 특히 알려지지 않은 단어 처리에 대해 어느 정도 향상시키는가?
• RQ3 한 태거의 출력을 다른 태거의 지침으로 사용하는 방식으로 두 태거를 순차적으로 조합하면 태깅 정확도가 향상되는가?
• RQ4 태거는 알려지지 않은 단어와 다의어 토큰을 다룰 때 어떻게 다른가?
• RQ5 알려지지 않은 단어 비율이 높은 다른 텍스트 유형(예: 행정 문서)에 적용했을 때 태거의 견고성은 어떠한가?

주요 결과

• 통계적 태거(TreeTagger)는 원본 테스트 코퍼스에서 테스트 정확도 95.27%를 기록했고, 규칙 기반 태거(Brill-Tagger)는 95.00%를 기록하여 통계적 접근이 0.27% 우수한 성능을 보였다.
• Gertwol 외부 어휘집을 적용한 결과, 통계적 태거의 정확도는 96.29%로 향상되었고, 규칙 기반 태거는 95.90%로 상승하여 통계적 태거가 0.39% 더 높은 향상률을 보였다.
• 알려지지 않은 단어 처리에서 규칙 기반 태거는 통계적 태거보다 열 劣했으며, 통계적 태거가 OOV 항목 처리에 더 뛰어난 견고성을 보였다.
• 다의어 토큰 처리에서는 규칙 기반 태거가 통계적 태거를 앞섰지만, 이러한 케이스가 너무 흔하지 않아서 통계적 태거의 전체 우위를 상쇄하지 못했다.
• 태거를 순차적으로 조합하는 것—어휘집을 풍부화하거나 하이브리드 출력으로 재학습—는 성능 향상에 기여하지 않았으며, 최고 성능(96.03%)조차도 통계적 태거의 최고 기록을 미달했다.
• 규칙 기반 태거는 통계적 태거(분 단위)에 비해 훨씬 긴 학습 시간(수 일)이 소요되었고, 규칙를 수동으로 수정할 수 있어 유지보수성 측면에서 상충되는 특성이 있었다.