[论文解读] Development of a multi-user handwriting recognition system using Tesseract open source OCR engine

Sandip Rakshit, Subhadip Basu|arXiv (Cornell University)|Mar 30, 2010

Handwritten Text Recognition Techniques参考文献 11被引用 4

一句话总结

本论文提出了一种使用 Tesseract OCR 引擎的多用户手写识别系统，通过用户特定的孤立样本和自由流动手写样本进行训练，构建个性化语言模型。在三位用户的情况下，系统在字符级别的准确率分别为 87.92%、81.53% 和 65.71%，在测试数据上的总体准确率为 78.39%。

ABSTRACT

The objective of the paper is to recognize handwritten samples of lower case Roman script using Tesseract open source Optical Character Recognition (OCR) engine under Apache License 2.0. Handwritten data samples containing isolated and free-flow text were collected from different users. Tesseract is trained with user-specific data samples of both the categories of document pages to generate separate user-models representing a unique language-set. Each such language-set recognizes isolated and free-flow handwritten test samples collected from the designated user. On a three user model, the system is trained with 1844, 1535 and 1113 isolated handwritten character samples collected from three different users and the performance is tested on 1133, 1186 and 1204 character samples, collected form the test sets of the three users respectively. The user specific character level accuracies were obtained as 87.92%, 81.53% and 65.71% respectively. The overall character-level accuracy of the system is observed as 78.39%. The system fails to segment 10.96% characters and erroneously classifies 10.65% characters on the overall dataset.

研究动机与目标

• 开发一种可扩展的手写识别系统，能够处理多位用户独特的书写风格。
• 通过使用孤立样本和自由流动文本样本训练用户特定模型，解决手写风格差异带来的挑战。
• 评估 Tesseract OCR 在有限训练数据下针对单个用户微调后的性能表现。
• 衡量多用户手写文本识别中的分割错误和分类错误。
• 证明将开源 OCR 引擎（如 Tesseract）适配个性化手写识别任务的可行性。

提出的方法

• 从三位不同用户处收集了孤立和自由流动的手写字符样本。
• 使用用户特定的数据集对 Tesseract OCR 进行训练，为每位用户生成独特的语言模型。
• 使用独立的训练集和测试集：训练集分别为 1844、1535 和 1113 个孤立样本；测试集分别为 1133、1186 和 1204 个样本。
• 应用 Tesseract 的自适应学习框架，针对每位用户优化字符识别性能。
• 通过字符级别准确率、分割失败率和误分类率评估系统性能。
• 将用户特定结果合并，计算整体系统级性能指标。

实验结果

研究问题

• RQ1 Tesseract OCR 是否能够有效适应识别多位用户具有不同书写风格的手写文本？
• RQ2 用户特定训练如何影响孤立和自由流动手写中字符级别的识别准确率？
• RQ3 系统在多样化用户样本中的字符分割和误分类性能如何？
• RQ4 与基线或通用 OCR 模型相比，该系统在多用户手写数据上的总体准确率如何？
• RQ5 系统在分割或分类手写字符时的失败模式是什么？

主要发现

• 系统在三位用户上的字符级别识别准确率分别为 87.92%、81.53% 和 65.71%。
• 在全部用户的合并测试集上，总体字符级别准确率为 78.39%。
• 系统在全数据集中未能正确分割 10.96% 的字符。
• 另有 10.65% 的字符被错误分类，表明识别错误率较高。
• 不同用户之间的性能差异显著，表明系统对个体书写风格和训练数据量敏感。
• 结果表明，对 Tesseract 进行用户特定微调可显著提升识别准确率，优于通用模型。