[论文解读] Continuous Offline Handwriting Recognition using Deep Learning Models

Jorge Sueiras|arXiv (Cornell University)|Dec 26, 2021

Handwritten Text Recognition Techniques被引用 8

一句话总结

本文提出了一种新颖的深度学习模型，用于连续离线手写文本识别（HTR），通过将卷积神经网络（CNN）用于特征提取，与序列到序列（seq2seq）模型用于序列转录相结合。该方法在多个语言（英语、法语、西班牙语）的标准基准上实现了具有竞争力的性能，展现出鲁棒性和泛化能力，并为基于seq2seq的HTR系统开辟了新的研究方向。

ABSTRACT

Handwritten text recognition is an open problem of great interest in the area of automatic document image analysis. The transcription of handwritten content present in digitized documents is significant in analyzing historical archives or digitizing information from handwritten documents, forms, and communications. In the last years, great advances have been made in this area due to applying deep learning techniques to its resolution. This Thesis addresses the offline continuous handwritten text recognition (HTR) problem, consisting of developing algorithms and models capable of transcribing the text present in an image without the need for the text to be segmented into characters. For this purpose, we have proposed a new recognition model based on integrating two types of deep learning architectures: convolutional neural networks (CNN) and sequence-to-sequence (seq2seq) models, respectively. The convolutional component of the model is oriented to identify relevant features present in characters, and the seq2seq component builds the transcription of the text by modeling the sequential nature of the text. For the design of this new model, an extensive analysis of the capabilities of different convolutional architectures in the simplified problem of isolated character recognition has been carried out in order to identify the most suitable ones to be integrated into the continuous model. Additionally, extensive experimentation of the proposed model for the continuous problem has been carried out to determine its robustness to changes in parameterization. The generalization capacity of the model has also been validated by evaluating it on three handwritten text databases using different languages: IAM in English, RIMES in French, and Osborne in Spanish, respectively. The new proposed model provides competitive results with those obtained with other well-established methodologies.

研究动机与目标

• 开发一种深度学习模型，能够在不预先将文本分割为单个字符的情况下，从单张图像中转录连续手写文本。
• 研究将CNN用于空间特征提取，与seq2seq架构结合以建模手写文本中的序列依赖关系。
• 评估模型在多种语言的手写文本数据库上的泛化能力。
• 探索数据预处理、归一化和增强技术对连续HTR模型性能的影响。
• 识别并解决当前HTR系统中的局限性，特别是训练集与测试集之间数据稀缺性和分布差异的问题。

提出的方法

• 将卷积神经网络（CNN）组件用于从手写图像中提取空间特征，同时使用序列到序列（seq2seq）解码器生成转录文本。
• 通过在孤立字符识别任务上进行大量实验，识别出最优的CNN架构，随后将其整合到连续HTR模型中。
• 应用图像预处理步骤，包括去噪、倾斜与倾斜校正、升序和降序部分的归一化，以及图像裁剪与缩放。
• 采用弹性形变等数据增强技术，以提高模型的鲁棒性和泛化能力。
• 在多个数据库（IAM、RIMES、Osborne）上进行交叉验证，以评估模型在不同语言和图像特征下的泛化能力。
• 在单词级和行级转录上测试模型，计划进一步扩展评估至行级基准，以进行对比分析。

实验结果

研究问题

• RQ1 在不进行字符级分割的情况下，混合CNN-seq2seq架构在识别连续手写文本方面的有效性如何？
• RQ2 在孤立字符识别中表现最佳的卷积神经网络架构有哪些？这些架构能否有效迁移至连续HTR任务？
• RQ3 数据归一化与数据增强之间的相互作用如何影响HTR模型的准确率和鲁棒性？
• RQ4 所提出的模型在具有不同图像特征的多种语言和手写数据库之间，其泛化能力在多大程度上得以实现？
• RQ5 与后处理语言模型相比，在解码器中集成基于RNN的语言模型是否能提升性能？

主要发现

• 所提出的CNN-seq2seq模型在IAM（英语）、RIMES（法语）和Osborne（西班牙语）数据库上均取得了具有竞争力的结果，展现出强大的跨语言泛化能力。
• 对孤立字符识别的深入分析帮助确定了适合集成到连续HTR模型中的最优CNN架构。
• 数据增强和归一化显著提升了模型的准确率，但其相互作用仍需进一步优化以保留归一化特征。
• 模型对超参数变化表现出鲁棒性，表明在不同训练配置下具有稳定性。
• 初步结果表明，使用手写风格字体生成合成数据是一种极具前景的方法，可有效缓解HTR中的数据稀缺问题。
• 该模型可轻松适配非拉丁字母脚本和从右到左书写的文字系统，仅需极少的架构修改。