[논문 리뷰] Spelling Correction in Agglutinative Languages

Kemal Oflazer|ArXiv.org|1994. 10. 06.

Speech and dialogue systems인용 수 12

한 줄 요약

이 논문은 터키어와 같은 복합어형 언어를 위한 철자 교정 시스템을 제시한다. 이 시스템은 두 수준의 형태론과 동적 프로그래밍을 활용하여 접사 부착에 의한 광범위한 어형 생성을 다룬다. 편집 거리가 1일 때 정확도는 95%이며, 상위 후보로 제공될 확률은 74%이다.

ABSTRACT

This paper presents an approach to spelling correction in agglutinative languages that is based on two-level morphology and a dynamic programming based search algorithm. Spelling correction in agglutinative languages is significantly different than in languages like English. The concept of a word in such languages is much wider that the entries found in a dictionary, owing to {}~productive word formation by derivational and inflectional affixations. After an overview of certain issues and relevant mathematical preliminaries, we formally present the problem and our solution. We then present results from our experiments with spelling correction in Turkish, a Ural--Altaic agglutinative language. Our results indicate that we can find the intended correct word in 95\% of the cases and offer it as the first candidate in 74\% of the cases, when the edit distance is 1.

연구 동기 및 목표

• 복합어형 언어에서 접사 부착으로 인해 어형이 매우 다량으로 생성되는 점을 감안해 철자 교정 문제를 해결하기 위해.
• 표준 사전 검색을 넘어서 복합어형 언어의 형태론적 복잡성을 고려한 방법을 개발하기 위해.
• 파생 및 축약 접사 규칙을 체계적으로 모델링하여 철자 교정 정확도를 향상시키기 위해.
• 복합어형 언어 중 어간의 변화가 빈번하고 형태적 복잡성이 높은 터키어를 대상으로 본 방법의 성능을 평가하기 위해.
• 두 수준의 형태론과 동적 프로그래밍을 조합하여 철자 교정에 효과적으로 활용할 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 복합어형 언어의 어형 생성 규칙을 모델링하기 위해 두 수준의 형태론을 사용한다.
• 효율적인 가능한 교정 후보 공간 탐색을 위해 동적 프로그래밍 기반의 검색 알고리즘을 적용한다.
• 철자 오류를 형태론적 규칙에서의 이탈로 간주함으로써 사전에 없는 단어의 교정도 가능하게 한다.
• 어휘 형태와 표면 형태 간의 관계를 표현하기 위해 두 수준의 형태론의 형식 체계를 활용한다.
• 편집 거리를 최소화하면서 형태론적 제약 조건을 만족시키는 방식으로 가장 가능성이 높은 올바른 단어를 계산한다.
• 이 방법은 터키어에서 어간에 접사를 부착하고 뿌리어와 접사 모두에서 발생하는 오류를 처리할 수 있도록 평가되었다.

실험 결과

연구 질문

• RQ1 접사 부착으로 인해 매우 변형이 빈번하고 파생가공이 복잡한 복합어형 언어에 대해 철자 교정을 효과적으로 적용할 수 있는가?
• RQ2 두 수준의 형태론은 접사 부착이 활발한 언어에서 철자 교정 성능을 얼마나 향상시킬 수 있는가?
• RQ3 복합어형 언어에서 가능한 교정 후보의 거대한 검색 공간을 효율적으로 탐색할 수 있는가?
• RQ4 편집 거리가 1일 때 시스템이 정확한 단어를 복구하는 데 성능은 어떠한가?
• RQ5 정확한 단어가 교정 목록에서 상위 후보로 제공되는 빈도는 얼마나 되는가?

주요 결과

• 편집 거리가 1일 때 95%의 경우에서 정확한 단어를 성공적으로 식별한다.
• 동일한 조건에서 정확한 단어가 상위 후보로 제공되는 비율은 74%이다.
• 사전 검색에만 의존하는 것이 아니라 접사 부착 규칙을 모델링함으로써 형태론적 복잡성을 효과적으로 처리한다.
• 두 수준의 형태론과 동적 프로그래밍의 통합은 복합어형 언어에서 효율적이고 정확한 교정을 가능하게 한다.
• 형식적인 형태론 모델을 실제 철자 교정 작업에 적용할 수 있음을 입증한다.
• 접사 부착에 의해 생성되는 모든 어형을 고려함으로써 전통적 접근 방식을 뛰어넘는 성능을 보인다.