[論文レビュー] Statistical Learning for OCR Text Correction

Jie Mei, Aminul Islam+3 more|arXiv (Cornell University)|Nov 21, 2016

Handwritten Text Recognition Techniques参考文献 20被引用数 14

ひとこと要約

本稿では、OCR出力以外の候補を拡張するためにDamerau-Levenshtein距離に基づく語彙検索を用い、OCR固有の特徴（例：編集距離、文脈類似度、語彙的特徴）を回帰フレームワークに統合する統計的学習モデルを提案する。このモデルはトップ1候補での補正率が61.5%、トップ3候補での補正率が71.5%を達成し、理論的上限の78%に近い性能を示す。

ABSTRACT

The accuracy of Optical Character Recognition (OCR) is crucial to the success of subsequent applications used in text analyzing pipeline. Recent models of OCR post-processing significantly improve the quality of OCR-generated text, but are still prone to suggest correction candidates from limited observations while insufficiently accounting for the characteristics of OCR errors. In this paper, we show how to enlarge candidate suggestion space by using external corpus and integrating OCR-specific features in a regression approach to correct OCR-generated errors. The evaluation results show that our model can correct 61.5% of the OCR-errors (considering the top 1 suggestion) and 71.5% of the OCR-errors (considering the top 3 suggestions), for cases where the theoretical correction upper-bound is 78%.

研究の動機と目的

• 既存のOCR後処理モデルがOCRエンジンの出力に限局した候補を提示するという制限を解消し、どのOCRでも認識されない誤りに対しても補正を可能にする。
• n-gram頻度に基づくモデルのバイアスを是正し、頻度が低くても正しい補正を過小評価しないようにする。
• 多様なOCR固有の特徴を統合した統一された回帰フレームワークを用いて、OCR誤り補正の精度を向上させる。
• 再現可能な後処理モデルの評価を可能にするため、正例のOCR誤りデータセットを提供する。
• 複数の特徴と回帰モデルを組み合わせることで、ベースライン手法に比べて補正性能が著しく向上することを示す。

提案手法

• 各OCR誤りからDamerau-Levenshtein編集距離δ以内のすべての語を生成することで、候補空間を拡張し、OCRエンジンが見逃す補正を発見可能にする。
• 編集距離、語彙的類似度、言語モデルスコア、文脈語の頻度、緩和された文脈一致など、OCR固有の特徴を統合する。
• ヒューリスティック法や頻度ベースの選択に依存せず、特徴スコアに基づいて回帰モデル（例：ランダムフォレスト、AdaBoost.R2）を用いて候補補正をランク付けする。
• Biodiversity Heritage Libraryに収録された書籍から抽出した正例のOCR誤りとその意図された補正のデータセットを用いて、回帰モデルを学習する。
• 特徴のアブレーションと可視化を実施し、個々の特徴の寄与度と、正しい補正を特定する際の特徴の独自性を評価する。
• 複数の誤りタイプ（限定的、非限定的、真陽性、偽陽性）における精度@k（P@k）指標を用いて、モデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 OCRエンジンの出力から逸脱した候補空間の拡張は、OCR誤り補正の精度向上に寄与するか？
• RQ2 n-gram頻度のみに依存する場合と比較して、OCR固有の特徴（例：編集距離、文脈類似度、語彙的特徴）は補正性能をどの程度向上させるか？
• RQ3 ヒューリスティック法や頻度ベースの手法と比較して、回帰ベースのランク付けモデルは、多数の候補から正しい補正を効果的に選択できるか？
• RQ4 個々の特徴は正しい補正を特定するためにどの程度寄与しているか？また、異なる誤りタイプにおいてその寄与度はどのように変化するか？
• RQ5 統計的学習モデルは、OCR誤り補正の理論的上限にどの程度近づけるか？

主な発見

• 提案モデルは、正しい答えがトップ1候補に含まれる場合に61.5%の補正率を達成し、トップ3候補に含まれる場合は71.5%に達し、理論的上限の78%に近づいている。
• 補正が行われなかった誤りの25.9%において、正しい語がトップ3候補に含まれており、優れた候補カバレッジを示している。
• 複数の特徴を組み合わせることでモデル性能が顕著に向上し、限定的誤りに対しては文脈ベースの特徴が特に効果的であり、偽陽性誤りに対しては編集距離／語彙的特徴が有効である。
• ランダムフォレストやAdaBoost.R2などのアンサンブル回帰モデルは、SVR や MLP などの単一モデルを上回り、より高い精度と高いロバスト性を示している。
• 緩和された文脈頻度（Relax context popularity）は、正確な文脈頻度よりもカバレッジが優れており、文脈ベースの特徴は他の特徴が見逃す補正を特定している。
• すべての特徴を組み合わせた場合、全補正の78.0%がトップ10候補内に含まれており、全体的な候補空間カバレッジが強いことが示された。