[論文レビュー] Phonetic based SoundEx&ShapeEx algorithm for Sindhi Spell Checker System

Zeeshan Bhatti, Ahmad Waqas+3 more|arXiv (Cornell University)|May 13, 2014

Natural Language Processing Techniques参考文献 19被引用数 13

ひとこと要約

本論文は、スィンドゥー語のための最初の音声ベースの SoundEx および形状ベースの ShapeEx アルゴリズムを紹介する。音声類似性と字形パターン一致を組み合わせることで、正確な綴りの訂正候補を生成する。独自に構築した音声および形状ベースの文字グループ化を活用することで、スィンドゥー語テキスト処理のための基盤的スペルチェッカーを実現した。

ABSTRACT

This paper presents a novel combinational phonetic algorithm for Sindhi Language, to be used in developing Sindhi Spell Checker which has yet not been developed prior to this work. The compound textual forms and glyphs of Sindhi language presents a substantial challenge for developing Sindhi spell checker system and generating similar suggestion list for misspelled words. In order to implement such a system, phonetic based Sindhi language rules and patterns must be considered into account for increasing the accuracy and efficiency. The proposed system is developed with a blend between Phonetic based SoundEx algorithm and ShapeEx algorithm for pattern or glyph matching, generating accurate and efficient suggestion list for incorrect or misspelled Sindhi words. A table of phonetically similar sounding Sindhi characters for SoundEx algorithm is also generated along with another table containing similar glyph or shape based character groups for ShapeEx algorithm. Both these are first ever attempt of any such type of categorization and representation for Sindhi Language.

研究の動機と目的

• スィンドゥー語に特化したスペルチェッカーの欠如、特に複雑な script と音声のばらつきに起因する課題を解決すること。
• 音声（SoundEx）と視覚的類似性（ShapeEx）を統合したハイブリッドアプローチを提案し、語の訂正候補の正確性を向上させること。
• スペルチェック用途での使用を想定し、音声と形状に基づくスィンドゥー文字の包括的かつ言語特化型の分類を初めて構築すること。
• 将来の包括的スィンドゥー語スペルチェッカー システム開発の基盤となるフレームワークを提供すること。

提案手法

• スィンドゥー語に特化した音声ベースの SoundEx アルゴリズムを設計し、360種類のスィンドゥー音素を独自に定義したテーブルを用いて、類似発音の文字をグループ化する。
• スィンドゥー文字を視覚的類似性に基づいてグループ化する ShapeEx アルゴリズムを開発し、タイプミスの原因となる母音記号（例：ا および آ）を含む。
• SoundEx、ShapeEx、および編集距離（edit distance）を統合したハイブリッドな候補エンジンを実装し、誤字の語に対して補正候補を生成する。
• 誤字を赤い波線で強調表示し、両アルゴリズムの候補を表示するGUIベースのプロトタイプを構築する。
• 出力リストにおける候補の出典を区別するため、SoundEx コードには 'SOX ::'、ShapeEx コードには 'SPX ::' のプレフィックスを採用する。
• 両アルゴリズムを統合し、より包括的かつ洗練された候補リストを生成することで、補正カバレッジを向上させる。

実験結果

リサーチクエスチョン

• RQ1 スィンドゥー語の発音類似性を、スペルチェック用途に適合する形で体系的にモデル化する方法は何か？
• RQ2 スィンドゥー文字において、タイプミスの原因となる主な視覚的および字形的類似性は何か？
• RQ3 音声と形状ベースの一致を統合したハイブリッドアプローチが、スィンドゥー語の綴りの訂正精度を顕著に向上させられるか？
• RQ4 音声および形状に基づく独自の文字グループ化が、候補リストの品質およびカバレッジに与える影響は何か？

主な発見

• 提案された SoundEx アルゴリズムは、誤字語 'اسوڻ' に対して14件の補正候補を生成し、同音語（例：'آسير'、'يسار'、'اسرار'）を含んでいた。
• ShapeEx アルゴリズムは語 'ليه' に対して14件の視覚的に類似した候補を生成し、'لّي'、'ليه'、'لية'、'آيئ' などの変種を含んでいた。
• 統合システムは、多様で文脈的に適切な候補を生成するという点で高い耐性を示し、出力品質は誤字語の特徴に応じて変動した。
• 本研究は、スィンドゥー語における音声および形状ベースの文字グループ化を初めて確立し、将来のスペルチェッカー開発の重要なデータ基盤を構築した。
• プロトタイプのGUIは、'SOX ::' および 'SPX ::' プレフィックスによる明確なラベル表示により、候補を正しく表示し、ユーザーの操作と訂正を可能にした。
• 著者らは、SoundEx の改良にダブルメタフォンを適用し、編集距離と統合することで、正確性の向上と候補リストの短縮が可能になると結論づけた。