[논문 리뷰] Phonetic based SoundEx&ShapeEx algorithm for Sindhi Spell Checker System

Zeeshan Bhatti, Ahmad Waqas외 3명|arXiv (Cornell University)|2014. 05. 13.

Natural Language Processing Techniques참고 문헌 19인용 수 13

한 줄 요약

이 논문은 싱디어어의 첫 번째 철자 검사용 청각적 사운드엑스(SoundEx) 및 형태 기반 샤프트엑스(ShapeEx) 알고리즘을 소개한다. 이는 청각 유사성과 자모 패턴 매칭을 융합하여 정확한 철자 교정 제안을 생성한다. 사용자 정의로 구축한 청각 및 형태 기반 문자 그룹화를 활용함으로써 높은 제안 커버리지를 달성하여 싱디어 텍스트 처리를 위한 기초 철자 검사기 시스템을 제공한다.

ABSTRACT

This paper presents a novel combinational phonetic algorithm for Sindhi Language, to be used in developing Sindhi Spell Checker which has yet not been developed prior to this work. The compound textual forms and glyphs of Sindhi language presents a substantial challenge for developing Sindhi spell checker system and generating similar suggestion list for misspelled words. In order to implement such a system, phonetic based Sindhi language rules and patterns must be considered into account for increasing the accuracy and efficiency. The proposed system is developed with a blend between Phonetic based SoundEx algorithm and ShapeEx algorithm for pattern or glyph matching, generating accurate and efficient suggestion list for incorrect or misspelled Sindhi words. A table of phonetically similar sounding Sindhi characters for SoundEx algorithm is also generated along with another table containing similar glyph or shape based character groups for ShapeEx algorithm. Both these are first ever attempt of any such type of categorization and representation for Sindhi Language.

연구 동기 및 목표

• 복잡한 스크립트와 청각적 변형을 가진 싱디어어에 특화된 철자 검사기가 부족한 문제를 해결하기 위해.
• 철자 교정 정확도 향상을 위해 청각적(SoundEx) 및 시각적(ShapeEx) 유사성을 융합한 하이브리드 접근법을 개발하기 위해.
• 철자 검사에 활용하기 위해 청각과 형태 기반으로 싱디어 문자를 첫 번째로 종합적으로 언어 특화 분류하기 위해.
• 향후 기능이 풍부한 싱디어 철자 검사기 시스템 개발을 위한 기초 프레임워크를 제공하기 위해.

제안 방법

• 싱디어어에 맞게 조정된 청각 기반 사운드엑스 알고리즘 설계. 360개의 싱디어 발음음 소리 테이블을 기반으로 유사 발음의 문자를 그룹화한다.
• 시각적 유사성 기반으로 싱디어 문자를 그룹화하는 샤프트엑스 알고리즘 개발. 특히 타이핑 중에 자주 혼동되는 음절 기호인 ا 및 آ를 포함한다.
• 사운드엑스, 샤프트엑스, 편집 거리(edit distance)를 융합한 하이브리드 제안 엔진을 구현하여 잘못된 단어의 후보 교정을 생성한다.
• 빨간 파도무늬 선으로 잘못된 철자를 표시하고, 두 알고리즘의 제안을 표시하는 GUI 기반 프로토타입을 구축한다.
• 출력 목록에서 제안 원천을 구분하기 위해 사운드엑스 코드 접두어 'SOX ::'와 샤프트엑스 코드 접두어 'SPX ::'를 사용한다.
• 두 알고리즘을 통합하여 보다 풍부하고 통합된 제안 목록을 생성함으로써 교정 커버리지를 향상시킨다.

실험 결과

연구 질문

• RQ1 싱디어어 발음의 청각 유사성은 철자 검사에 대해 체계적으로 어떻게 모델링할 수 있는가?
• RQ2 싱디어 문자 간의 주요 시각적 및 자모 기반 유사성은 무엇이며, 이는 일반적인 타이핑 실수로 이어지는가?
• RQ3 청각적 및 형태 기반 매칭을 융합한 하이브리드 접근법이 싱디어어의 철자 교정 정확도를 크게 향상시킬 수 있는가?
• RQ4 청각과 형태 기반으로 사용자 정의한 문자 그룹화가 제안 목록의 품질과 커버리지에 미치는 영향은 무엇인가?

주요 결과

• 제안된 사운드엑스 알고리즘이 잘못된 단어 'اسوڻ'에 대해 14개의 후보 교정을 성공적으로 생성하였으며, 'آسير', 'يسار', 'اسرار'와 같은 동음이이어도 포함되었다.
• 샤프트엑스 알고리즘이 'ليه'에 대해 14개의 시각적으로 유사한 후보를 생성하였으며, 'لّي', 'ليه', 'لية', 'آيئ' 등의 변형을 포함하였다.
• 통합된 시스템은 다양한 맥락에 맞는 제안을 생성함으로써 뛰어난 내재성을 보였으며, 출력 품질은 잘못된 단어의 특성에 따라 달라졌다.
• 본 연구는 첫 번째로 싱디어어에 대한 청각적 및 형태 기반 문자 그룹화를 확립하여 향후 철자 검사기 개발을 위한 핵심 데이터 기반을 마련하였다.
• 프로토타입 GUI는 'SOX ::' 및 'SPX ::' 접두어를 통해 명확한 레이블링을 제공하여 사용자 상호작용과 교정을 가능하게 하였다.
• 저자들은 사운드엑스를 더 정교하게 다듬기 위해 더블-메타포네(Double-Metaphone)를 적용하고, 편집 거리와 통합함으로써 정확도를 향상시키고 제안 목록 크기를 줄일 수 있을 것으로 결론 내렸다.