[论文解读] Design of an Optical Character Recognition System for Camera-based Handheld Devices

Ayatullah Faruk Mollah, Nabamita Majumder+2 more|arXiv (Cornell University)|Sep 15, 2011

Handwritten Text Recognition Techniques参考文献 11被引用 65

一句话总结

本文提出了一种轻量级、基于摄像头的OCR系统，专为手持设备优化，采用文本区域检测、倾斜校正、二值化、行/字符分割以及识别技术。在100张手机拍摄的名片上进行评估，准确率达到92.74%，与Tesseract相当，同时保持了较低的计算成本和内存占用，适合移动设备部署。

ABSTRACT

This paper presents a complete Optical Character Recognition (OCR) system for camera captured image/graphics embedded textual documents for handheld devices. At first, text regions are extracted and skew corrected. Then, these regions are binarized and segmented into lines and characters. Characters are passed into the recognition module. Experimenting with a set of 100 business card images, captured by cell phone camera, we have achieved a maximum recognition accuracy of 92.74%. Compared to Tesseract, an open source desktop-based powerful OCR engine, present recognition accuracy is worth contributing. Moreover, the developed technique is computationally efficient and consumes low memory so as to be applicable on handheld devices.

研究动机与目标

• 开发一种专为资源受限的手持设备设计的高效OCR处理流程，使用摄像头拍摄的文档。
• 解决在移动设备拍摄文本时真实图像质量带来的挑战，如倾斜、噪声和光照不均。
• 在最小化计算负载和内存消耗的前提下实现高识别准确率，以适应移动设备部署。
• 在硬件受限的条件下，实现或超越桌面OCR引擎（如Tesseract）在移动拍摄数据上的准确率。

提出的方法

• 使用基于边缘的分割和形态学操作检测文本区域，以隔离潜在的文本区域。
• 采用基于霍夫变换的直线检测进行倾斜校正，以对齐旋转的文本，提升处理效果。
• 使用自适应阈值法进行二值化，以应对摄像头拍摄图像中的光照不均问题。
• 通过垂直和水平投影轮廓分析进行行和字符分割，以分离出单个字符。
• 字符识别模块处理分割后的字符，可能采用模板匹配或基于特征的分类方法。
• 整个处理流程针对低内存和低处理开销进行优化，以确保在手持设备上的实时性能。

实验结果

研究问题

• RQ1 如何设计OCR系统，使其在手持设备拍摄的低质量文本上仍能保持高准确率？
• RQ2 在移动OCR应用中，哪些预处理技术在倾斜校正和二值化方面最为有效？
• RQ3 轻量级OCR系统是否能在移动拍摄数据上实现与Tesseract等桌面引擎相当的识别准确率？
• RQ4 在不牺牲识别性能的前提下，计算效率和内存使用量可被最小化到何种程度？

主要发现

• 在100张使用手机摄像头拍摄的名片图像数据集上，系统实现了最高92.74%的识别准确率。
• 所提出的OCR处理流程在性能上与广泛使用的开源桌面OCR引擎Tesseract表现相当。
• 该系统计算效率高，内存占用低，适合在手持设备上部署。
• 倾斜校正和自适应二值化显著提升了在真实世界、噪声较多的摄像头拍摄图像上的识别准确率。
• 形态学分割、基于投影的行与字符分离，以及稳健的预处理技术相结合，使系统在复杂成像条件下仍能实现高准确率。
• 系统性能已在实际的、真实世界的手持设备拍摄名片数据集上得到验证，展示了其在真实部署场景中的适用性。