[논문 리뷰] Error-tolerant Finite State Recognition with Applications to Morphological Analysis and Spelling Correction

Kemal Oflazer|ArXiv.org|1995. 04. 29.

Natural Language Processing Techniques참고 문헌 25인용 수 174

한 줄 요약

이 논문은 유한 상태 인식기의 상태 그래프를 제어된 깊이 우선 탐색을 통해 약간 잘못된 양식을 가진 문자열을 인식할 수 있도록 하는 효율적인 오류 내성 유한 상태 인식 알고리즘을 제안한다. 이 알고리즘은 철자 교정에 대해 터키어 기준으로 20ms 미만, 유럽어권 언어 기준으로 45ms 이내로 후보 생성을 달성하며, 형태소 분석 및 철자 교정 응용 분야에서 높은 효율성을 입증한다.

ABSTRACT

Error-tolerant recognition enables the recognition of strings that deviate mildly from any string in the regular set recognized by the underlying finite state recognizer. Such recognition has applications in error-tolerant morphological processing, spelling correction, and approximate string matching in information retrieval. After a description of the concepts and algorithms involved, we give examples from two applications: In the context of morphological analysis, error-tolerant recognition allows misspelled input word forms to be corrected, and morphologically analyzed concurrently. We present an application of this to error-tolerant analysis of agglutinative morphology of Turkish words. The algorithm can be applied to morphological analysis of any language whose morphology is fully captured by a single (and possibly very large) finite state transducer, regardless of the word formation processes and morphographemic phenomena involved. In the context of spelling correction, error-tolerant recognition can be used to enumerate correct candidate forms from a given misspelled string within a certain edit distance. Again, it can be applied to any language with a word list comprising all inflected forms, or whose morphology is fully described by a finite state transducer. We present experimental results for spelling correction for a number of languages. These results indicate that such recognition works very efficiently for candidate generation in spelling correction for many European languages such as English, Dutch, French, German, Italian (and others) with very large word lists of root and inflected forms (some containing well over 200,000 forms), generating all candidate solutions within 10 to 45 milliseconds (with edit distance 1) on a SparcStation 10/41. For spelling correction in Turkish, error-tolerant

연구 동기 및 목표

• 규칙적인 언어에서 유효한 형태에서 약간 벗어난 문자열을 실용적으로 인식할 수 있는 방법을 개발하는 것.
• 유한 상태 변환기를 사용하여 동시에 철자 교정과 형태소 분석을 수행할 수 있도록 하는 것.
• 복잡한 복합어 또는 변화형 형태를 가지는 언어에서 오류 내성 처리를 지원하는 것.
• 철자 교정 시스템의 후보 생성을 위한 확장 가능하고 고성능의 솔루션을 제공하는 것.
• 실제 입력 오류인 치환, 삽입, 삭제, 전치와 같은 오류를 처리할 수 있도록 유한 상태 인식을 확장하는 것.

제안 방법

• 기존의 유한 상태 인식기의 상태 그래프를 대상으로 허용 가능한 편집 거리 이내의 경로를 탐색하기 위해 깊이 우선 탐색 알고리즘을 사용한다.
• 편집 거리를 오류 측정 기준으로 사용하며, 이는 한 문자열을 다른 문자열로 변환하기 위한 최소 삽입, 삭제, 치환, 전치의 수로 정의된다.
• 완전한 변화형 파라디그마를 모델링하는 유한 상태 변환기를 적용하여 동시에 교정 및 분석이 가능하도록 한다.
• 중복 경로를 잘라내고 동일한 상태를 재처리하지 않음으로써 인식을 최적화한다.
• 접착어 형태를 다루기 위해 터키어용 원형 인식기를 사용하여 효율적인 후보 수열 생성을 지원한다.
• 비아스키리프 문자 치환으로 인한 노이즈를 줄이기 위해 언어별 히우리스틱을 후처리 단계에 통합한다.

실험 결과

연구 질문

• RQ1 편집 거리가 제한된 범위 내에서 유한 상태 변환기를 사용하여 잘못된 철자 형식을 효율적으로 인식하고 교정할 수 있는가?
• RQ2 터키어와 같은 접착어 언어에서 형태소 분석에 대해 오류 내성 인식이 얼마나 효과적인가?
• RQ3 유럽어권 언어의 대규모 변화형 어형 목록을 고려할 때 오류 내성 인식의 성능 오버헤드는 얼마나 되는가?
• RQ4 수천 개의 상태와 전이를 가진 대규모 유한 상태 기계로도 이 방법이 확장 가능한가?
• RQ5 기존 접근 방식과 비교해 볼 때 이 알고리즘은 철자 교정의 속도와 정확도 측면에서 어떤가?

주요 결과

• 유럽어권 언어에서 20만 개 이상의 변화형 어형을 가진 경우, 편집 거리 1 기준으로 모든 정확한 후보 형식을 10~45밀리초 내에 생성한다.
• 터키어의 경우, 28,825개의 상태와 118,352개의 전이를 가진 인식기를 사용하여 20밀리초 미만으로 교정을 달성한다.
• 실제 환경 테스트에서 79.6%의 잘못된 철자 터키어 단어가 편집 거리 1을 가지며, 15.0%는 거리 2, 5.4%는 거리 3 이상을 가졌다.
• 평균적으로 각 교정 작업에서 제공된 후보 수는 4.29개였고, 평균적으로 전체 탐색 공간의 3.62%만을 탐색하였다.
• 표준 철자 검사기로 사용할 경우, 정확한 형식을 초당 500단어의 속도로 처리하였다 (편집 거리 0).
• 이 방법은 대규모이고 복잡한 형태소 시스템에서도 효율성을 유지하므로 실생활 응용에 실현 가능하다.