[논문 리뷰] Combining Trigram-based and Feature-based Methods for Context-Sensitive Spelling Correction

Andrew R. Golding, Yves Schabes|ArXiv.org|1996. 05. 31.

Speech and dialogue systems인용 수 5

한 줄 요약

이 논문은 삼중어(trigram) 기반의 문맥 모델링과 특징 기반 베이지안 분류를 결합하여 문맥에 민감한 오류 탐지를 향상시킨 하이브리드 철자 교정 시스템인 Tribayes를 제안한다. 품사 삼중어를 통해 문법적 제약을 모델링하고, 단어별 특징을 통해 어휘적 차이를 구분함으로써, 동음이의어 및 어구 오류에서 기존 개별 방법과 마이크로소프트 워드의 문법 검사기보다 뛰어난 성능을 발휘한다.

ABSTRACT

This paper addresses the problem of correcting spelling errors that result in valid, though unintended words (such as ``peace'' and ``piece'', or ``quiet'' and ``quite'') and also the problem of correcting particular word usage errors (such as ``amount'' and ``number'', or ``among'' and ``between''). Such corrections require contextual information and are not handled by conventional spelling programs such as Unix `spell'. First, we introduce a method called Trigrams that uses part-of-speech trigrams to encode the context. This method uses a small number of parameters compared to previous methods based on word trigrams. However, it is effectively unable to distinguish among words that have the same part of speech. For this case, an alternative feature-based method called Bayes performs better; but Bayes is less effective than Trigrams when the distinction among words depends on syntactic constraints. A hybrid method called Tribayes is then introduced that combines the best of the previous two methods. The improvement in performance of Tribayes over its components is verified experimentally. Tribayes is also compared with the grammar checker in Microsoft Word, and is found to have substantially higher performance.

연구 동기 및 목표

• 잘못된 단어가 유효한 영어 형태일 때 발생하는 문맥에 민감한 철자 오류를 해결한다 (예: 'peace' vs. 'piece').
• 어순 패턴이 다름에도 유사한 의미를 가진 단어들 간의 오용 오류를 수정한다 (예: 'amount' vs. 'number', 'among' vs. 'between').
• 유닉스 'spell'와 같은 전통적 도구들이 문맥 인식 능력을 갖추지 못한 점을 보완한다.
• 문법적 삼중어와 어휘적 특징 기반 접근법의 장점을 살린 하이브리드 모델을 개발한다.
• 기존 시스템, 특히 마이크로소프트 워드의 문법 검사기보다 뛰어난 성능을 입증한다.

제안 방법

• 문법적 제약을 최소한의 파rameter로 표현하기 위해 품사 삼중어(Trigrams)를 사용하여 문맥을 모델링한다.
• 동음이의어 및 어구 오류를 구분하기 위해 어휘적 및 문맥적 특징을 사용하는 베이지안 분류기(Bayes)를 적용한다.
• Trigrams와 Bayes의 신뢰도 점수를 가중 평균하는 방식으로 두 모델의 결과를 융합하여 신뢰도를 높인 하이브리드 모델인 Tribayes를 설계한다.
• 단어 시퀀스의 문법적 타당성을 포착하기 위해 품사 시퀀스를 기반으로 Trigrams 모델을 훈련시킨다.
• 단어 빈도, 어구 패턴, 형태소적 신호 등의 특징을 기반으로 어휘적 모호성을 해결하기 위해 Bayes 모델을 훈련시킨다.
• 정확도를 향상시키기 위해 양 모델의 결과를 신뢰도 가중 투표 메커니즘을 통해 통합한다.

실험 결과

연구 질문

• RQ1 품사 삼중어는 동음이의어를 구분하기 위해 문법적 문맥을 효과적으로 모델링할 수 있는가?
• RQ2 문법적 구조가 부족한 경우, 특징 기반 베이지안 분류가 삼중어 모델보다 어휘적 모호성을 더 잘 해결할 수 있는가?
• RQ3 삼중어와 특징 기반 방법을 융합하면 개별 방법보다 성능 향상이 이루어지는가?
• RQ4 하이브리드 모델인 Tribayes는 마이크로소프트 워드의 문법 검사기와 같은 상용 도구보다 문맥에 민감한 오류 수정에서 더 나은 성능을 보이는가?
• RQ5 이러한 하이브리드 접근법은 동음이의어 및 어구 기반 철자 오류의 다양한 유형에 일반화될 수 있는가?

주요 결과

• Tribayes는 Trigrams 및 Bayes 모델 각각보다 뚜렷한 성능 향상을 달성한다.
• 하이브리드 모델은 문맥에 민감한 철자 교정 작업에서 마이크로소프트 워드의 문법 검사기보다 뛰어난 성능을 보인다.
• 주어-동사 일치와 같은 문법적 제약이 필요한 경우, Trigrams가 Bayes보다 더 효과적이다.
• 문법보다 어휘적 또는 어구 패턴에 의존하는 경우, Bayes가 Trigrams보다 더 뛰어난 성능을 보인다.
• Tribayes의 조합은 두 방법의 상호보완적 강점을 살려 더 높은 종합 정확도를 달성한다.
• 시스템은 동음이의어 및 근의어 오용을 포함한 다양한 오류 유형에 대해 뛰어난 견고성을 보였다.