[論文レビュー] Levenshtein Distance Technique in Dictionary Lookup Methods: An Improved Approach

Rishin Haldar, Debajyoti Mukhopadhyay|arXiv (Cornell University)|Jan 6, 2011

Natural Language Processing Techniques参考文献 6被引用数 74

ひとこと要約

本稿では、視覚的に類似した文字をクラスタにグループ化し、各クラスタ内での重み付き差分を適用することで、光学文字認識（OCR）システムにおける辞書照合のための拡張されたレーベンシュタイン距離手法を提案する。この手法により、従来のレーベンシュタイン距離に比べて計算コストを増加させることなく、曖昧な文字認識における誤検出を顕著に低減し、測定可能な性能向上が示されたテストデータセット上で実証された。

ABSTRACT

Dictionary lookup methods are popular in dealing with ambiguous letters which were not recognized by Optical Character Readers. However, a robust dictionary lookup method can be complex as apriori probability calculation or a large dictionary size increases the overhead and the cost of searching. In this context, Levenshtein distance is a simple metric which can be an effective string approximation tool. After observing the effectiveness of this method, an improvement has been made to this method by grouping some similar looking alphabets and reducing the weighted difference among members of the same group. The results showed marked improvement over the traditional Levenshtein distance technique.

研究の動機と目的

• 標準の辞書照合手法が高い誤り率のため失敗する、OCRシステムにおける曖昧な文字認識の課題に対処すること。
• OCRアプリケーションにおける辞書ベースの文字列照合の計算コストを低減し、精度を向上させること。
• 視覚的類似性を組み込むことで、レーベンシュタイン距離を強化する軽量で効率的な手法を開発すること。
• クラスタリングによる文字間の知覚的類似性のモデル化を通じて、辞書照合における誤検出を最小限に抑えること。

提案手法

• 著者らは、視覚的類似性に基づいて文字（例：'O' と '0'、'B' と '8'）をクラスタにグループ化する。
• 同じグループ内の文字間の置換コストを、類似しない文字よりも低くすることで、重み付きレーベンシュタイン距離を適用する。
• 標準のレーベンシュタインアルゴリズムを変更し、同じグループに属する文字ペairの置換コストを低く設定することで、誤認識の可能性を反映させる。
• レーベンシュタイン距離のコアとなる動的計画法の構造を維持しつつ、文脈に応じた置換コスト行列を導入する。
• 正解が既知のOCR認識文字列のテストセットを用いて、精度と効率を測定するために、改善されたアルゴリズムを評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚的に類似した文字をグループ化することで、OCR辞書照合の誤り率を低減できるか？
• RQ2 文字クラスタ内に重み付き置換コストを適用することで、標準のレーベンシュタイン距離に比べて照合精度が向上するか？
• RQ3 提案手法は、認識性能の向上を維持しつつ、低コストの計算負荷を維持できるか？
• RQ4 重み付きレーベンシュタインアプローチは、曖昧な文字列（例：'O' と '0'、'B' と '8'）の誤検出をどれほど効果的に低減できるか？

主な発見

• 提案手法は、標準のレーベンシュタイン距離手法に比べて、誤検出マッチの顕著な削減を達成した。
• 重み付きレーベンシュタイン手法により、視覚的に類似した文字の置換が及ぼす影響が低減され、照合精度が向上した。
• 計算オーバーヘッドが低く抑えられ、リアルタイムOCRアプリケーションに適していることが確認された。
• 結果として、特に 'O' と '0' や 'B' と '8' のような一般的なOCR誤りが発生する状況において、辞書照合のパフォーマンスが顕著に向上した。