[论文解读] A Generic Method for Automatic Ground Truth Generation of Camera-captured Documents

Sheraz Ahmed, Muhammad Imran Malik+5 more|arXiv (Cornell University)|May 4, 2016

Handwritten Text Recognition Techniques参考文献 21被引用 4

一句话总结

本文提出一种通用的、自动的方法，利用局部可能排列哈希（LLAH）将拍摄的文档图像与电子版PDF文件对齐，从而生成真实标签。该方法可实现全自动、大规模的数据集构建（例如，100万字、1000万个字符），覆盖多种语言，标签生成准确率达99.98%。此外，本文引入了C³Wᵢ数据集及基于LSTM的OCR模型，在拍摄图像上实现95.10%的准确率，显著优于ABBYY（75.02%）和Tesseract（50.22%），其优势源于对模糊和光照不足等真实世界失真具有强鲁棒性。

ABSTRACT

The contribution of this paper is fourfold. The first contribution is a novel, generic method for automatic ground truth generation of camera-captured document images (books, magazines, articles, invoices, etc.). It enables us to build large-scale (i.e., millions of images) labeled camera-captured/scanned documents datasets, without any human intervention. The method is generic, language independent and can be used for generation of labeled documents datasets (both scanned and cameracaptured) in any cursive and non-cursive language, e.g., English, Russian, Arabic, Urdu, etc. To assess the effectiveness of the presented method, two different datasets in English and Russian are generated using the presented method. Evaluation of samples from the two datasets shows that 99:98% of the images were correctly labeled. The second contribution is a large dataset (called C3Wi) of camera-captured characters and words images, comprising 1 million word images (10 million character images), captured in a real camera-based acquisition. This dataset can be used for training as well as testing of character recognition systems on camera-captured documents. The third contribution is a novel method for the recognition of cameracaptured document images. The proposed method is based on Long Short-Term Memory and outperforms the state-of-the-art methods for camera based OCRs. As a fourth contribution, various benchmark tests are performed to uncover the behavior of commercial (ABBYY), open source (Tesseract), and the presented camera-based OCR using the presented C3Wi dataset. Evaluation results reveal that the existing OCRs, which already get very high accuracies on scanned documents, have limited performance on camera-captured document images; where ABBYY has an accuracy of 75%, Tesseract an accuracy of 50.22%, while the presented character recognition system has an accuracy of 95.10%.

研究动机与目标

• 解决当前缺乏大规模、公开可用的数据集以用于训练和测试拍摄文档图像OCR系统的问题。
• 开发一种全自动、无需人工干预的准确真实标签生成方法，用于拍摄文档图像。
• 构建一个大规模、真实世界的数据集（C³Wᵢ），包含100万张单词图像和1000万个字符图像，包含真实的失真，如模糊和透视失真。
• 通过在新生成的数据集上训练深度学习模型，提升OCR在拍摄文档图像上的性能。
• 在真实拍摄图像上对最先进的OCR系统（ABBYY、Tesseract）和所提系统进行基准测试，揭示在真实失真条件下性能差距。

提出的方法

• 该方法使用局部可能排列哈希（LLAH）将文档的电子版PDF与拍摄图像对齐，即使仅存在部分内容也能实现对齐。
• 通过基于LLAH的文档检索技术，将拍摄图像中的文字与PDF中的对应文本匹配，自动定位并提取单词和字符。
• 系统在标签生成过程中无需人工干预，实现全自动且可扩展至数百万张图像。
• 该方法与语言和书写系统无关，可应用于连笔和非连笔文字，如英语、俄语、阿拉伯语、乌尔都语和日语。
• 利用该方法生成了一项新数据集C³Wᵢ，包含100万张单词图像和1000万个字符图像，均来自真实拍摄的文档，包含真实的失真。
• 在C³Wᵢ数据集上训练了一个基于LSTM的字符识别模型，以处理模糊、透视失真和光照不足等失真，且无需依赖二值化处理。

实验结果

研究问题

• RQ1 是否能通过完全自动、通用的方法在无需人工干预的情况下，为拍摄文档图像生成准确的真实标签？
• RQ2 基于LLAH的文档检索在多大程度上能实现拍摄图像与其电子PDF版本之间的准确对齐，以支持真实标签生成？
• RQ3 所提出的C³Wᵢ数据集在训练OCR系统以应对真实世界失真（如模糊和光照不足）方面有多有效？
• RQ4 在C³Wᵢ数据集上训练的基于LSTM的OCR是否能优于现有商业和开源OCR系统在拍摄文档图像上的表现？
• RQ5 所提出的OCR系统在未重新训练的情况下，是否在扫描文档上仍保持良好性能，表明其具备良好的泛化能力？

主要发现

• 所提出的自动真实标签生成方法在英语和俄语数据集采样图像上实现了99.98%的标签准确率，证明了其高度可靠性。
• C³Wᵢ数据集包含100万张单词图像和1000万个字符图像，所有图像均来自真实拍摄的文档，包含真实的失真，如模糊、透视失真和光照变化。
• 所提出的基于LSTM的OCR在C³Wᵢ数据集上实现了95.10%的识别准确率，显著优于ABBYY（75.02%）和Tesseract（50.22%）在拍摄图像上的表现。
• 在严重模糊和光照不足的图像上，所提系统实现了86.8%的准确率，而ABBYY和Tesseract分别仅实现19.57%和18.1%，凸显其鲁棒性。
• 即使不使用语言模型，所提系统表现依然良好，仅出现少量错误（如将'votes'误识别为'voes'），此类错误可通过语言模型轻松纠正。
• 该系统对扫描文档也具有良好的泛化能力，表明在拍摄图像上训练的同一模型同样适用于扫描输入。