[논문 리뷰] SinSpell: A Comprehensive Spelling Checker for Sinhala

Upuli Liyanapathirana, Kaumini Gunasinghe외 1명|arXiv (Cornell University)|2021. 07. 07.

Natural Language Processing Techniques참고 문헌 10인용 수 9

한 줄 요약

SinSpell은 스리랑카에 거주하는 1,600만 명 이상의 사용자를 대상으로 하는 신달라어를 대상으로 한 규칙 기반, 오픈소스 철자 검사기로, 종합적인 철자 도구의 부족을 보완하기 위해 개발되었다. Hunspell 기반으로 제작되었으며, 형태소 분류된 단어 목록, 신달라어 문장집에서의 오류 분석, 그리고 모음 길이 오류나 청각적으로 유사한 문자 오류와 같은 일반적인 오류를 전문화된 보정 모듈로 처리함으로써 체계적인 규칙 설정과 예외 처리를 통해 높은 정확도를 달성한다.

ABSTRACT

We have built SinSpell, a comprehensive spelling checker for the Sinhala language which is spoken by over 16 million people, mainly in Sri Lanka. However, until recently, Sinhala had no spelling checker with acceptable coverage. Sinspell is still the only open source Sinhala spelling checker. SinSpell identifies possible spelling errors and suggests corrections. It also contains a module which auto-corrects evident errors. To maintain accuracy, SinSpell was designed as a rule-based system based on Hunspell. A set of words was compiled from several sources and verified. These were divided into morphological classes, and the valid roots, suffixes and prefixes for each class were identified, together with lists of irregular words and exceptions. The errors in a corpus of Sinhala documents were analysed and commonly misspelled words and types of common errors were identified. We found that the most common errors were in vowel length and similar sounding letters. Errors due to incorrect typing and encoding were also found. This analysis was used to develop the suggestion generator and auto-corrector.

연구 동기 및 목표

• 1,600만 명 이상이 사용하는 신달라어에 대해 종합적인 철자 도구가 부족한 상황를 해결하기 위해.
• 오류 탐지 및 자동 보정을 모두 지원하는 고카버리지 오픈소스 철자 검사기를 개발하기 위해.
• 특히 모음 길이와 청각적으로 유사한 문자와 관련된 일반적인 철자 오류를 식별하고 체계적으로 분류하기 위해.
• 근본어, 접두사, 접미사 등을 포함한 신달라어 단어의 형태소 분석에 기반한 규칙 기반 시스템을 구축하여 정확성과 확장성을 확보하기 위해.
• Hunspell을 기반으로 하되, 검증된 단어 목록과 비표준 형태에 대한 예외 처리 기능을 포함한 유지보수 및 확장이 가능한 철자 검사기를 구축하기 위해.

제안 방법

• 시스템은 Hunspell 프레임워크를 기반으로 하여, 형태소 분석에 적합한 강력한 사전 및 규칙 기반 아키텍처를 활용한다.
• 다양한 출처에서 확보한 포괄적인 단어 목록을 편집하여 정확성과 언어학적 타당성을 수동으로 검증하였다.
• 단어들을 형태소 유형으로 분류하고, 각 유형에 대해 유효한 근본어, 접두사, 접미사를 체계적으로 식별하였다.
• 비표준 형태를 따르지 않는 비정상적인 단어와 예외 사항을 명시적으로 목록화하여, 표준 형태소 패턴을 따르지 않는 형태를 처리하였다.
• 신달라어 문서의 문장집을 대상으로 오류 분석을 수행하여, 자주 발생하는 철자 오류와 오류 유형을 특정하였으며, 특히 모음 길이 오류와 청각적 혼동을 중심으로 분석하였다.
• 오류 패tern을 기반으로 제안 생성기와 자동 보정 모듈을 개발하였으며, 일반적인 타이핑 오류 및 인코딩 관련 오류에 중점을 두었다.

실험 결과

연구 질문

• RQ1 신달라어에서 가장 흔한 철자 오류 유형은 무엇이며, 특히 모음 길이와 청각적으로 유사한 문자와의 오류와 어떤 관련이 있는가?
• RQ2 형태소 분석에 기반한 규칙 기반 철자 검사기를 저자원 언어인 신달라어에 대해 체계적으로 설계하고 구현할 수 있는가?
• RQ3 신달라어 단어의 형태소 분류가 철자 검사기의 정확도와 커버리지에 얼마나 기여하는가?
• RQ4 문장집 기반 오류 분석이 일반적인 철자 오류에 대응하는 타겟팅 보정 규칙 설계에 얼마나 효과적인가?
• RQ5 대규모 딥러닝 모델에 의존하지 않고도 오픈소스 규칙 기반 철자 검사기가 신달라어에서 높은 정확도와 사용성을 달성할 수 있는가?

주요 결과

• 신달라어에서 가장 흔한 철자 오류는 동사 및 명사 파생에서 잘못된 모음 길이 표시 기호 사용이다.
• 시각적·청각적 유사성으로 인해 자주 혼동되는 문자, 예를 들어 'ඉ'와 'ඊ'가 주로 오용되었다.
• 특히 오래된 텍스트에서 발생하는 타이핑 오류 및 인코딩 관련 오류가 철자 일관성의 주요 원인이었다.
• 형태소 분류 및 검증된 단어 목록을 기반으로 한 규칙 기반 접근 방식이 오류 탐지 및 보정에서 높은 정밀도를 달성하였다.
• 비표준 단어와 예외 사항을 성공적으로 식별하고 처리함으로써 다양한 텍스트 유형에서의 시스템의 강성과 신뢰성이 향상되었다.
• SinSpell은 여전히 신달라어를 위한 유일한 오픈소스 종합 철자 검사기로서, 이 언어의 디지털 언어 지원 분야에서 중요한 격차를 메웠다.