[論文レビュー] Error-tolerant Finite State Recognition with Applications to Morphological Analysis and Spelling Correction

Kemal Oflazer|ArXiv.org|Apr 29, 1995

Natural Language Processing Techniques参考文献 25被引用数 174

ひとこと要約

この論文では、有効な形とはわずかに異なる文字列を制御された深さ優先探索によって、有限状態トランスダクサが認識可能となる、効率的で誤り耐性のある有限状態認識アルゴリズムを紹介している。トルコ語の綴りの誤り訂正では20ms未塔の候補生成が達成され、ヨーロッパ諸言語では118,352の変形語リストを用いて45ms未塔であり、語彙解析および綴りの誤り訂正応用において高い効率性を示している。

ABSTRACT

Error-tolerant recognition enables the recognition of strings that deviate mildly from any string in the regular set recognized by the underlying finite state recognizer. Such recognition has applications in error-tolerant morphological processing, spelling correction, and approximate string matching in information retrieval. After a description of the concepts and algorithms involved, we give examples from two applications: In the context of morphological analysis, error-tolerant recognition allows misspelled input word forms to be corrected, and morphologically analyzed concurrently. We present an application of this to error-tolerant analysis of agglutinative morphology of Turkish words. The algorithm can be applied to morphological analysis of any language whose morphology is fully captured by a single (and possibly very large) finite state transducer, regardless of the word formation processes and morphographemic phenomena involved. In the context of spelling correction, error-tolerant recognition can be used to enumerate correct candidate forms from a given misspelled string within a certain edit distance. Again, it can be applied to any language with a word list comprising all inflected forms, or whose morphology is fully described by a finite state transducer. We present experimental results for spelling correction for a number of languages. These results indicate that such recognition works very efficiently for candidate generation in spelling correction for many European languages such as English, Dutch, French, German, Italian (and others) with very large word lists of root and inflected forms (some containing well over 200,000 forms), generating all candidate solutions within 10 to 45 milliseconds (with edit distance 1) on a SparcStation 10/41. For spelling correction in Turkish, error-tolerant

研究の動機と目的

• 正則言語における有効な形とはわずかに異なる文字列を認識する実用的な手法を開発すること。
• 有限状態トランスダクサを用いて、綴りの誤り訂正と語彙解析を同時に実行可能にする。
• 複雑な合成的または屈曲的語彙構造を持つ言語における誤り耐性処理を支援すること。
• 綴りの誤り訂正システムにおける候補生成にスケーラブルで高性能なソリューションを提供すること。
• 実世界の入力エラー（置換、挿入、削除、交換）を扱えるように、有限状態認識を拡張すること。

提案手法

• 既存の有限状態認識器の状態グラフに対して、指定された編集距離以内のパスを探索する深さ優先探索アルゴリズムを用いる。
• 編集距離（1つの文字列を別の文字列に変換するための最小の挿入、削除、置換、交換の回数）を誤りの尺度として採用する。
• 全屈曲パラダイムをモデル化する有限状態トランスダクサにアルゴリズムを適用し、同時に誤り訂正と解析が可能になるようにする。
• 重複するパスの削除と同等状態の再処理を回避することで、認識処理を最適化する。
• 合成語彙構造を扱い、効率的な候補列挙を可能にするために、トルコ語用に循環型認識器を用いる。
• 非アスキー文字の置換によるノイズを低減するために、言語固有のヒューリスティクスを後処理に統合する。

実験結果

リサーチクエスチョン

• RQ1 編集距離が制限された範囲内で、有限状態トランスダクサを用いて誤った語形を効率的に認識・訂正できるか。
• RQ2 合成語彙を持つ言語（例：トルコ語）における語彙解析の誤り耐性認識はどの程度効果的か。
• RQ3 ヨーロッパ諸言語の大きな屈曲語彙リストに対して、誤り耐性認識の処理オーバーヘッドはどの程度か。
• RQ4 数万の状態および遷移を持つ大きな有限状態機械に対しても、この手法はスケーラブルか。
• RQ5 綴りの誤り訂正において、既存の手法と比較して速度と正確性の点でどう異なるか。

主な発見

• ヨーロッパ諸言語で200,000以上の変形語形を持つ場合、編集距離1の範囲で正しく修正可能な候補形を10–45ミリ秒で生成できる。
• トルコ語では、28,825の状態および118,352の遷移を持つ認識器を用いて、20ミリ秒未塔の補正が達成された。
• 実世界のテストでは、79.6%の誤ったトルコ語語彙が編集距離1、15.0%が距離2、5.4%が距離3以上であった。
• 平均して1回の補正で提供される候補数は4.29であり、探索空間の平均3.62%しか走査されていない。
• 標準的なスペルチェッカーとして使用した場合、正しく綴られた語形の処理速度は1秒間に500語であった（編集距離0）。
• このアプローチは、巨大で複雑な語彙システムに対しても効率的であり、実世界の応用に実用的である。