[論文レビュー] Benchmarking recognition results on word image datasets

Deepak Kumar, Mohit Prasad+1 more|arXiv (Cornell University)|Aug 30, 2012

Handwritten Text Recognition Techniques参考文献 14被引用数 5

ひとこと要約

本論文は、ピクセル単位のセグメンテーションと商業用OCR（Nuance Omnipage）を用いた単語画像認識のベンチマークを提示し、認識率としてICDAR 2003で83.9%、Sign evaluationで89.3%、Street Viewで79.6%、Born-digitalで88.5%、ICDAR 2011で86.7%を達成した。著者らは、5つの多様なデータセットにまたがる3,606枚の単語画像の手動ピクセル単位のアノテーションを実施するGUIベースのMATLABツールを開発し、正確なセグメンテーションが、傾きや曲がり、劣化したテキストにおいてもOCR性能を顕著に向上させることを示した。

ABSTRACT

We have benchmarked the maximum obtainable recognition accuracy on various word image datasets using manual segmentation and a currently available commercial OCR. We have developed a Matlab program, with graphical user interface, for semi-automated pixel level segmentation of word images. We discuss the advantages of pixel level annotation. We have covered five databases adding up to over 3600 word images. These word images have been cropped from camera captured scene, born-digital and street view images. We recognize the segmented word image using the trial version of Nuance Omnipage OCR. We also discuss, how the degradations introduced during acquisition or inaccuracies introduced during creation of word images affect the recognition of the word present in the image. Word images for different kinds of degradations and correction for slant and curvy nature of words are also discussed. The word recognition rates obtained on ICDAR 2003, Sign evaluation, Street view, Born-digital and ICDAR 2011 datasets are 83.9%, 89.3%, 79.6%, 88.5% and 86.7% respectively.

研究の動機と目的

• 手動ピクセル単位のセグメンテーションと商業用OCRを用いた単語画像認識の信頼性の高いベンチマークを確立すること。
• バウンディングボックスアノテーションの限界を克服し、OCR精度の向上を図るための細分化されたピクセル単位のラベル付けを導入すること。
• ぼやけ、傾き、曲がり、低解像度などの画像劣化要因が認識性能に与える影響を評価すること。
• 分類・認識モデルのトレーニングおよびテスト用に、公開可能で高品質なアノテート済み単語画像データセットを提供すること。
• 特に現実世界の挑戦的な画像において、認識精度を達成する上でセグメンテーションの質が極めて重要な要因であることを実証すること。

提案手法

• 単語画像のセミオートメーション化されたピクセル単位のセグメンテーションを実現するカスタムMATLABベースのグラフィカルユーザーインターフェース（GUI）を開発した。
• ICDAR 2003、Sign evaluation、Street View、Born-digital、ICDAR 2011の5つのデータセットにまたがる3,606枚の単語画像を手動でアノテートした。
• バイナリ化された単語画像内の文字を認識するために、Nuance Omnipage Professional 16 OCRのトライアル版を用いた。
• データセット間での認識性能を公平に比較できるように、編集距離測定値に正規化処理を適用した。
• 編集距離とワード単位の正確性を用いて認識率を評価し、各データセットごとに結果を報告した。
• モーションブラー、傾き、曲がり、低解像度などの劣化要因に対して、手動によるセグメンテーションと前処理を適用した。

実験結果

リサーチクエスチョン

• RQ1 商業用OCRを用いてピクセル単位のセグメンテーションが施された単語画像で、どの程度の認識正確性が達成できるか？
• RQ2 ぼやけ、傾き、曲がり、低解像度などのさまざまな画像劣化要因が、単語画像のOCR性能にどのように影響するか？
• RQ3 バウンディングボックスベースのアプローチと比較して、ピクセル単位のセグメンテーションは認識正確性をどの程度向上させるか？
• RQ4 手動でアノテートされたピクセル単位のデータセットは、単語認識システムの評価に信頼できるベンチマークとして機能できるか？
• RQ5 さまざまな種類の単語画像データセット（例：シーン、ボーンデジタル、Street View）において、認識性能はどのように変動するか？

主な発見

• 最高の認識率89.3%はSign evaluationデータセットで達成され、クリアで整然としたテキストに対して優れた性能を示した。
• ICDAR 2011データセットは86.7%の認識率を達成し、データセットの洗練化に伴い、以前のベンチマークを上回る結果となった。
• Street Viewデータセットは79.6%の認識率を示し、現実世界の画像における曲がり、傾き、ぼやけの課題を浮き彫りにした。
• Born-digitalデータセットは88.5%の認識率を達成し、カメラで撮影されたシーンと比較して画像品質が高く、劣化が少ないことが反映された。
• ICDAR 2003データセットは83.9%の認識率を達成し、劣化が見られる中でも適切なセグメンテーションにより高い正確性が達成可能であることを示した。
• 本研究は、セグメンテーションの質がOCR成功の主要因であることを確認しており、自動化またはバウンディングボックス手法と比較して、手動ピクセル単位のアノテーションが顕著に優れた結果をもたらすことを示した。