[論文レビュー] Parallel Spell-Checking Algorithm Based on Yahoo! N-Grams Dataset

Youssef Bassil|arXiv (Cornell University)|Apr 1, 2012

Natural Language Processing Techniques参考文献 28被引用数 13

ひとこと要約

この論文では、Yahoo! N-Grams データセットを活用して、非単語誤字および現実単語誤字の両方を検出・修正する並列共有メモリ型のスペルチェックアルゴリズムを提案する。並列誤字検出、候補生成、文脈的補正サブアルゴリズムを組み合わせることで、電子テキストにおける誤字を顕著に低減する高い補正率を達成しており、将来の分散メッセージパッシングシステム向け最適化が計画されている。

ABSTRACT

Spell-checking is the process of detecting and sometimes providing suggestions for incorrectly spelled words in a text. Basically, the larger the dictionary of a spell-checker is, the higher is the error detection rate; otherwise, misspellings would pass undetected. Unfortunately, traditional dictionaries suffer from out-of-vocabulary and data sparseness problems as they do not encompass large vocabulary of words indispensable to cover proper names, domain-specific terms, technical jargons, special acronyms, and terminologies. As a result, spell-checkers will incur low error detection and correction rate and will fail to flag all errors in the text. This paper proposes a new parallel shared-memory spell-checking algorithm that uses rich real-world word statistics from Yahoo! N-Grams Dataset to correct non-word and real-word errors in computer text. Essentially, the proposed algorithm can be divided into three sub-algorithms that run in a parallel fashion: The error detection algorithm that detects misspellings, the candidates generation algorithm that generates correction suggestions, and the error correction algorithm that performs contextual error correction. Experiments conducted on a set of text articles containing misspellings, showed a remarkable spelling error correction rate that resulted in a radical reduction of both non-word and real-word errors in electronic text. In a further study, the proposed algorithm is to be optimized for message-passing systems so as to become more flexible and less costly to scale over distributed machines.

研究の動機と目的

• 従来のスペルチェッカーが、小規模で静的な辞書のため、ドメイン固有用語、固有名、技術用語を検出できないという限界を解消すること。
• 従来のスペルチェックシステムにおけるデータスパarsity問題および語彙外語問題を克服すること。
• Yahoo! N-Grams データセットからの現実世界の語彙頻度統計を活用して、スケーラブルで並列処理可能なスペルチェックソリューションを開発すること。
• 文脈に配慮した統計的根拠に基づく提案により、誤字検出および補正の正確性を向上させること。
• 将来の分散メッセージパッシングシステム向け最適化の基盤を築くこと。

提案手法

• アルゴリズムは、誤字検出、候補生成、文脈的補正という3段階の並列アーキテクチャを採用しており、すべてが共有メモリ並列処理で実行される。
• 誤字検出は、Yahoo! N-Grams データセットから統計的に導出された大規模な語彙と照合することで、誤字を特定する。
• 候補生成は、n-gram 頻度統計を用いて、語の共起パターンと言語的文脈に基づき、妥当な補正候補を生成する。
• 文脈的補正は、n-gram 確率を用いて補正候補をランク付けし、与えられた文脈で最も妥当な語を選択する。
• 今後の作業では、メッセージパッシングシステム向けに最適化されるように設計されており、分散コンピューティング環境への展開が可能になる。
• 現実世界のn-gramデータの使用により、ルールベースまたは辞書オンリーのアプローチでは見過ごされがちな現実単語誤字の検出が可能になる。

実験結果

リサーチクエスチョン

• RQ1 大規模なn-gram統計を用いて、スペルチェックシステムが非単語誤字および現実単語誤字を効果的に検出できるか。
• RQ2 並列処理が、スペルチェックアルゴリズムのパフォーマンスおよびスケーラビリティに与える影響は何か。
• RQ3 現実世界のテキストから得たn-gram頻度データは、従来の辞書ベース手法を上回る補正正確性を実現できるか。
• RQ4 n-gram確率を用いた文脈に配慮した補正は、誤検出を低減し、提案の関連性を向上させるか。
• RQ5 共有メモリ型アルゴリズムを分散メッセージパッシングシステムに適応させるために、どのようなアーキテクチャ的変更が必要か。

主な発見

• 提案されたアルゴリズムは、テストテキスト記事における著しいスペル誤字補正率を達成し、非単語誤字および現実単語誤字の両方を顕著に低減した。
• Yahoo! N-Grams データセットの使用により、従来のスペルチェッカーが通常見過ごすドメイン固有用語、固有名、技術用語の検出が可能になった。
• 3つのサブアルゴリズム（検出、候補生成、補正）の並列実行により、共有メモリシステム上での処理効率とスケーラビリティが向上した。
• 現実世界の語の共起パターンを活用した文脈的補正において、優れたパフォーマンスを示した。
• アルゴリズムは拡張可能であり、将来の分散システム向け最適化が図られているため、クラスタを横断した大規模な展開の可能性を示している。