[論文レビュー] A Generic Method for Automatic Ground Truth Generation of Camera-captured Documents

Sheraz Ahmed, Muhammad Imran Malik+5 more|arXiv (Cornell University)|May 4, 2016

Handwritten Text Recognition Techniques参考文献 21被引用数 4

ひとこと要約

本論文では、カメラで撮影されたドキュメント画像のエレクトロニックPDF版と照合するための汎用的で自動的な手法を提示する。この手法は、局所的に妥当な配置ハッシュ（LLAH）を用い、撮影画像とPDF版の間で正確なアライメントを実現する。この方法により、複数言語で100万語、1000万文字にのぼる大規模なデータセットを完全自動で構築可能となり、ラベル付けの正確性は99.98％に達する。さらに、C³Wᵢデータセットと、ぼやけや照明不足に強く耐性を持つLSTMベースのOCRモデルを導入し、実世界の歪みにさらされた画像において95.10％の正確性を達成した。これは、ABBYY（75.02％）やTesseract（50.22％）を大きく上回る性能である。

ABSTRACT

The contribution of this paper is fourfold. The first contribution is a novel, generic method for automatic ground truth generation of camera-captured document images (books, magazines, articles, invoices, etc.). It enables us to build large-scale (i.e., millions of images) labeled camera-captured/scanned documents datasets, without any human intervention. The method is generic, language independent and can be used for generation of labeled documents datasets (both scanned and cameracaptured) in any cursive and non-cursive language, e.g., English, Russian, Arabic, Urdu, etc. To assess the effectiveness of the presented method, two different datasets in English and Russian are generated using the presented method. Evaluation of samples from the two datasets shows that 99:98% of the images were correctly labeled. The second contribution is a large dataset (called C3Wi) of camera-captured characters and words images, comprising 1 million word images (10 million character images), captured in a real camera-based acquisition. This dataset can be used for training as well as testing of character recognition systems on camera-captured documents. The third contribution is a novel method for the recognition of cameracaptured document images. The proposed method is based on Long Short-Term Memory and outperforms the state-of-the-art methods for camera based OCRs. As a fourth contribution, various benchmark tests are performed to uncover the behavior of commercial (ABBYY), open source (Tesseract), and the presented camera-based OCR using the presented C3Wi dataset. Evaluation results reveal that the existing OCRs, which already get very high accuracies on scanned documents, have limited performance on camera-captured document images; where ABBYY has an accuracy of 75%, Tesseract an accuracy of 50.22%, while the presented character recognition system has an accuracy of 95.10%.

研究の動機と目的

• カメラで撮影されたドキュメント画像のOCRシステムの学習および評価に用いることのできる大規模で公開可能なデータセットの不足に対処すること。
• 人為的介入なしに、正確なグランドトゥルースラベルをカメラで撮影されたドキュメント画像に対して自動的に生成する手法の開発。
• 実際の歪み（ぼやけ、透視歪みなど）を含む、100万語分の画像と1000万文字分の画像を含む、大規模で現実世界に即したデータセット（C³Wᵢ）の作成。
• 新たに生成されたデータセットを用いて深層学習モデルを学習させることで、カメラで撮影されたドキュメント画像におけるOCR性能の向上。
• 実際のカメラで撮影された画像に対して、最先端のOCR（ABBYY、Tesseract）と本手法をベンチマークし、現実の歪み下での性能格差を明らかにすること。

提案手法

• 本手法は、部分的なコンテンツしか存在しない状況でも、電子的PDF版とカメラで撮影された画像を、局所的に妥当な配置ハッシュ（LLAH）を用いて照合・アライメントする。
• LLAHを用いたドキュメント検索により、撮影画像内の単語や文字を自動的に特定・抽出し、PDF内の対応するテキストと照合する。
• ラベル付けに人的介入を一切行わず、数百万枚の画像にまでスケーラブルな完全自動化を実現する。
• 本手法は言語に依存せず、書記体系にも依存しないため、英語、ロシア語、アラビア語、ウルドゥー語、日本語など、連続的・非連続的な書記体系にも適用可能である。
• 本手法を用いて、実際のカメラで撮影されたドキュメントから抽出された100万語分の画像と1000万文字分の画像を含む、新規のデータセットC³Wᵢが生成された。
• ぼやけや透視歪み、照明不足といった歪みに強く耐性を持つLSTMベースの文字認識モデルを、C³Wᵢデータセット上で学習させ、二値化に依存しない処理を実現した。

実験結果

リサーチクエスチョン

• RQ1 完全に自動的かつ汎用的な手法が、人的介入なしにカメラで撮影されたドキュメント画像の正確なグランドトゥルースラベルを生成できるか？
• RQ2 LLAHを用いたドキュメント検索は、カメラで撮影された画像とその電子的PDF版との間で、どの程度正確にアライメントを実現できるか？
• RQ3 本手法で生成されたC³Wᵢデータセットは、ぼやけや照明不足といった現実世界の歪みに対処するOCRシステムの学習にどの程度有効か？
• RQ4 C³Wᵢデータセット上で学習されたLSTMベースのOCRは、既存の商業的・オープンソースOCR（ABBYY、Tesseract）を上回る性能をカメラで撮影されたドキュメント画像で示せるか？
• RQ5 本手法で開発されたOCRシステムは、再訓練なしにスキャン済みドキュメントに対しても優れた性能を示すか。これは、汎化能力を示唆する。

主な発見

• 提案手法によるグランドトゥルース生成は、英語およびロシア語のデータセットからサンプリングされた画像において99.98％のラベル付け正確性を達成し、高い信頼性を示した。
• C³Wᵢデータセットには、ぼやけ、透視歪み、照明のばらつきといった実際の歪みを含む、100万語分の画像と1000万文字分の画像が含まれている。
• 提案されたLSTMベースのOCRは、C³Wᵢデータセット上で95.10％の認識正確性を達成し、カメラで撮影された画像において、ABBYY（75.02％）やTesseract（50.22％）を大きく上回った。
• 重度のぼやけや照明不足の画像において、本手法は86.8％の正確性を示したのに対し、ABBYYとTesseractはそれぞれ19.57％および18.1％にとどまり、本手法の耐性の高さが顕著に現れた。
• 言語モデルを用いない状態でも、本システムは良好な性能を示し、たとえば「voes」が「votes」と誤認識されるようなわずかな誤りが生じるが、言語モデルで補正可能である。
• 本システムはスキャン済みドキュメントに対しても良好に一般化しており、カメラで撮影されたデータで学習したモデルがスキャン済み入力に対しても有効であることが示された。