[論文レビュー] SinSpell: A Comprehensive Spelling Checker for Sinhala

Upuli Liyanapathirana, Kaumini Gunasinghe+1 more|arXiv (Cornell University)|Jul 7, 2021

Natural Language Processing Techniques参考文献 10被引用数 9

ひとこと要約

SinSpell は、スリランカに1600万人以上の話者がいる僧伽羅語のためのルールベースでオープンソースの綴りチェックツールであり、包括的な綴りツールの不足に対処するために開発された。Hunspell を基盤として構築され、語の意味的分類に基づく語彙リスト、僧伽羅語コーパスの誤り分析、および母音長や音声的に類似した文字の誤入力といった一般的な誤りに特化した補正モジュールを用い、体系的なルール策定と例外処理により高い正確性を達成している。

ABSTRACT

We have built SinSpell, a comprehensive spelling checker for the Sinhala language which is spoken by over 16 million people, mainly in Sri Lanka. However, until recently, Sinhala had no spelling checker with acceptable coverage. Sinspell is still the only open source Sinhala spelling checker. SinSpell identifies possible spelling errors and suggests corrections. It also contains a module which auto-corrects evident errors. To maintain accuracy, SinSpell was designed as a rule-based system based on Hunspell. A set of words was compiled from several sources and verified. These were divided into morphological classes, and the valid roots, suffixes and prefixes for each class were identified, together with lists of irregular words and exceptions. The errors in a corpus of Sinhala documents were analysed and commonly misspelled words and types of common errors were identified. We found that the most common errors were in vowel length and similar sounding letters. Errors due to incorrect typing and encoding were also found. This analysis was used to develop the suggestion generator and auto-corrector.

研究の動機と目的

• スリランカに1600万人以上の話者がいるが、デジタル支援が限られている僧伽羅語の包括的な綴りツールの不足に対処すること。
• 誤り検出と自動是正を両立できる、高カバレッジでオープンソースの綴りチェックツールを構築すること。
• 特に母音長や音声的に類似した文字に関連する、僧伽羅語における一般的な綴り間違いを特定し、体系的に分類すること。
• 語幹、接頭辞、接尾辞を含む、僧伽羅語語の語彙的分析に基づくルールベースのシステムを構築し、正確性と拡張性を確保すること。
• Hunspell を基盤として、検証済み語彙リストと不規則形の例外処理を備えた、保守的かつ拡張可能な綴りチェックツールを構築すること。

提案手法

• システムは Hunspell フレームワークに依存しており、語彙的分析に適した強力な辞書とルールベースのアーキテクチャを活用している。
• 複数のソースから収集した包括的な語彙リストを、手作業で正確性と言語的妥当性について検証した。
• 語彙的分類に従い、語の種類ごとに有効な語幹、接頭辞、接尾辞を体系的に特定した。
• 標準的な語彙的パターンに従わない非規則的形態を処理するため、不規則語や例外を明示的にリスト化した。
• 僧伽羅語文書のコーパスを用いた誤り分析により、頻出する綴り間違いと誤りタイプ（特に母音長や音声的類似文字の誤用）を同定した。
• 誤りパターンに基づき、一般的なタイポやエンコード関連のミスに特化した提案生成装置と自動是正モジュールを開発した。

実験結果

リサーチクエスチョン

• RQ1 僧伽羅語における最も頻出する綴り間違いの種類は何か。特に母音長や音声的に類似した文字に関連して。
• RQ2 母音長や音声的に類似した文字の誤用を含む、低リソース言語としての僧伽羅語に適したルールベースの綴りチェックツールを体系的に設計・実装する方法は何か。
• RQ3 僧伽羅語語の語彙的分類が、綴りチェックツールの正確性とカバレッジをどの程度向上させられるか。
• RQ4 コーパスベースの誤り分析が、一般的な誤綴りに対する的確な是正ルールの設計をどの程度効果的に支援できるか。
• RQ5 大規模なニューラルモデルに依存せずに、オープンソースでルールベースの綴りチェックツールが、僧伽羅語において高い正確性と使いやすさを達成できるか。

主な発見

• 僧伽羅語で最も一般的な綴り間違いは、動詞や名詞の屈折形における母音長マークの誤りである。
• 視覚的・聴覚的に類似する文字、たとえば「ඉ」と「ඊ」は、その類似性から頻繁に混同されていた。
• タイポやレガシーなテキストにおけるエンコード関連のミスが、綴りの不一致の主要因となっていた。
• 語彙的分類と検証済み語彙リストを用いたルールベースのアプローチにより、誤り検出と是正の高精度が達成された。
• システムは不規則語や例外を効果的に同定・処理でき、多様なテキストタイプにわたる耐性を高めた。
• SinSpell は、僧伽羅語のための唯一のオープンソースで包括的な綴りチェックツールであり、この言語のデジタル言語支援における重要な空白を埋めている。