[논문 리뷰] MBT: A Memory-Based Part of Speech Tagger-Generator

Walter Daelemans, Jakub Zavrel외 2명|ArXiv.org|1996. 07. 11.

Natural Language Processing Techniques참고 문헌 30인용 수 259

한 줄 요약

이 논문은 단어-맥락-태그 삼중조의 케이스 베이스에서 유사도 기반 추론을 사용하여 태그를 할당하는 메모리 기반 품사 태깅기-생성기인 MBT를 제시한다. IGTree를 활용하여 효율적인 색인과 동적 맥락 크기 선택을 통해 MBT는 빠른 학습과 태깅, 소규모 학습 데이터, 증분 업데이트, 설명 가능성과 함께 통계적 방법과 비교해 높은 정확도를 달성한다.

ABSTRACT

We introduce a memory-based approach to part of speech tagging. Memory-based learning is a form of supervised learning based on similarity-based reasoning. The part of speech tag of a word in a particular context is extrapolated from the most similar cases held in memory. Supervised learning approaches are useful when a tagged corpus is available as an example of the desired output of the tagger. Based on such a corpus, the tagger-generator automatically builds a tagger which is able to tag new text the same way, diminishing development time for the construction of a tagger considerably. Memory-based tagging shares this advantage with other statistical or machine learning approaches. Additional advantages specific to a memory-based approach include (i) the relatively small tagged corpus size sufficient for training, (ii) incremental learning, (iii) explanation capabilities, (iv) flexible integration of information in case representations, (v) its non-parametric nature, (vi) reasonably good results on unknown words without morphological analysis, and (vii) fast learning and tagging. In this paper we show that a large-scale application of the memory-based approach is feasible: we obtain a tagging accuracy that is on a par with that of known statistical approaches, and with attractive space and time complexity properties when using {\em IGTree}, a tree-based formalism for indexing and searching huge case bases.} The use of IGTree has as additional advantage that optimal context size for disambiguation is dynamically computed.

연구 동기 및 목표

• 규칙 기반 또는 통계적 접근 방식에 비해 개발 시간을 줄이는 확장성 있고 정확하며 효율적인 품사 태깅 시스템을 개발하는 것.
• 기존 k-근접 이웃 방법의 대규모 케이스 베이스에서의 계산 비효율성을 해결하기 위해 압축 색인 구조(IGTree)를 도입하는 것.
• 광범위한 특성 공학이나 스무딩이 필요 없이도 증분 학습과 결정 설명 기능을 갖춘 태깅 시스템을 제공하는 것.
• 형태소 분석 없이도 알려지지 않은 단어에 대해 강건한 성능을 보이게 하여 맥락 및 표면 형태 특징을 활용하는 것.
• 메모리 기반 학습이 대규모 자연어 처리 응용 분야에서 HMM 및 n-gram 모델의 타당한 대안이 될 수 있음을 보여주는 것.

제안 방법

• 시스템은 각각 단어, 맥락, 태그로 구성된 특성-값 패턴을 케이스 베이스에 저장하며, 이를 기호적 특징의 벡터로 표현한다.
• 태깅은 k-근접 이웃(k-nn) 분류를 통해 수행되며, 각 맥락 내 단어에 대해 메모리에 저장된 가장 유사한 케이스들을 유사도 측정 기반으로 검색한다.
• 유사도 측정은 기능 벡터 간의 거리를 계산하기 위해 기호적 겹침 함수(δ(xi,yi) = 0 if xi=yi, else 1)를 사용한다.
• IGTree는 트리 기반 색인 형식으로, 케이스 베이스를 압축하고 효율적으로 검색함으로써 케이스 베이스 크기와 무관하게 빠른 검색을 가능하게 한다.
• 학습 중에 IGTree의 구조를 분석함으로써 태깅의 정확도를 높이기 위해 최적의 맥락 크기를 동적으로 결정한다.
• 유사도 계산 중에 여러 정보 소스(예: 단어 형태와 맥락)를 탄력적으로 통합하기 위해 특징 가중치를 적용한다.

실험 결과

연구 질문

• RQ1 메모리 기반 접근 방식이 HMM이나 n-gram 태거와 같은 기존 통계적 모델과 유사한 태깅 정확도를 달성할 수 있는가?
• RQ2 IGTree 색인 기법이 대규모 코퍼스에 대한 메모리 기반 태깅의 계산 가능성을 높일 수 있는가?
• RQ3 형태소 분석 없이도 알려지지 않은 단어에 대해 강건한 성능을 보일 수 있는가?
• RQ4 재학습 없이도 증분 학습과 결정 설명 기능을 지원할 수 있는가?
• RQ5 비모수적 학습 프레임워크 내에서 최적의 맥락 크기 선택이 가능할 수 있는가?

주요 결과

• MBT는 기존의 알려진 통계적 접근 방식과 비슷한 태깅 정확도를 달성하여, 대규모 품사 태깅에 메모리 기반 학습이 타당함을 입증한다.
• 단지 300~400K개의 태깅된 단어만으로도 양호한 성능을 달성하여, 소규모 학습 코퍼스로도 효과적인 학습이 가능함을 시사한다.
• 태깅 속도는 약 1000단어/초에 이를 정도로 매우 빠르며, 이는 대규모 케이스 베이스에서도 IGTree 기반 색인으로 빠른 추론이 가능함을 보여준다.
• 가까운 이웃과 IGTree 경로를 검색함으로써 설명 기능을 제공하여 결정 과정을 추적 가능하게 한다.
• WSJ 코퍼스의 90% 이상인 알려지지 않은 단어들이 형태소 분석 없이 맥락과 단어 형태를 활용하여 정확하게 태깅된다.
• IGTree 형식은 스무딩 및 수렴 문제로 인해 다른 방법에서 발생하는 문제를 피할 수 있는 자동 비모수적 분류 추정을 가능하게 한다.