[论文解读] HCR-Net: A deep learning based script independent handwritten character recognition network

Vinod Kumar Chauhan, Sukhdeep Singh+1 more|arXiv (Cornell University)|Aug 15, 2021

Handwritten Text Recognition Techniques参考文献 95被引用 6

一句话总结

HCR-Net 是一种用于无字符脚本手写字符识别的新型深度学习架构，通过使用预训练的 VGG16 网络进行部分迁移学习，实现了在小样本数据集上的快速、计算高效的训练。该方法在 40 个多语言数据集上实现了最先进性能，建立了 26 项新基准，准确率最高提升 11%，并在首个训练周期内达到最终性能的 99%。

ABSTRACT

Handwritten character recognition (HCR) remains a challenging pattern recognition problem despite decades of research, and lacks research on script independent recognition techniques. {\color{black}This is mainly because of similar character structures, different handwriting styles, diverse scripts, handcrafted feature extraction techniques, unavailability of data and code, and the development of script-specific deep learning techniques. To address these limitations, we have proposed a script independent deep learning network for HCR research, called HCR-Net, that sets a new research direction for the field. HCR-Net is based on a novel transfer learning approach for HCR, which extit{partly utilizes} feature extraction layers of a pre-trained network.} Due to transfer learning and image augmentation, HCR-Net provides faster and computationally efficient training, better performance and generalizations, and can work with small datasets. HCR-Net is extensively evaluated on 40 publicly available datasets of Bangla, Punjabi, Hindi, English, Swedish, Urdu, Farsi, Tibetan, Kannada, Malayalam, Telugu, Marathi, Nepali and Arabic languages, and established 26 new benchmark results while performed close to the best results in the rest cases. HCR-Net showed performance improvements up to 11\% against the existing results and achieved a fast convergence rate showing up to 99\% of final performance in the very first epoch. HCR-Net significantly outperformed the state-of-the-art transfer learning techniques and also reduced the number of trainable parameters by 34\% as compared with the corresponding pre-trained network. To facilitate reproducibility and further advancements of HCR research, the complete code is publicly released at \url{https://github.com/jmdvinodjmd/HCR-Net}.

研究动机与目标

• 为解决由于字符脚本多样性、数据噪声以及公开数据集有限导致的无字符脚本手写字符识别（HCR）研究不足问题。
• 克服传统 HCR 方法依赖手工设计特征且仅适用于特定脚本的局限性。
• 开发一种可在极少数据和计算成本下跨多种脚本泛化的深度学习模型。
• 通过迁移学习和数据增强技术，提升 HCR 中的泛化能力和收敛速度。
• 通过公开发布完整代码和经验证的结果，确保研究可复现性。

提出的方法

• HCR-Net 采用部分迁移学习策略，通过预训练的 VGG16 网络初始化其卷积层。
• 网络使用图像增强技术以提升训练数据的多样性并改善泛化能力。
• 提出一种新型网络架构设计，仅重用并微调 VGG16 的初始卷积块，使可训练参数减少 34%。
• 使用随机梯度下降和交叉熵损失函数，对多分类任务进行端到端训练。
• 该方法在涵盖 14 种语言（包括孟加拉语、印地语、阿拉伯语和英语）的 40 个公开数据集上进行评估。
• 未来工作将提出一种分层版本，以解决因字符结构相似性导致的误分类问题。

实验结果

研究问题

• RQ1 深度学习模型是否能在多种语言的无字符脚本手写字符识别中实现高性能？
• RQ2 从预训练的 VGG16 网络进行部分迁移学习，如何提升小样本数据集上的收敛速度和泛化能力？
• RQ3 图像增强和网络架构设计对减少可训练参数数量但保持性能的影响如何？
• RQ4 为何在整体准确率很高的情况下，梵文中的某些字符（如 'ta' 和 'na'）仍被误分类？
• RQ5 HCR-Net 在多语言 HCR 场景中，与现有迁移学习技术相比，其性能优势能达到何种程度？

主要发现

• HCR-Net 在 40 个公开数据集中的 26 个上实现了新的最先进结果，覆盖 14 种语言，包括孟加拉语、印地语、阿拉伯语和英语。
• 与现有方法相比，该模型在多个基准数据集上的识别准确率最高提升了 11%。
• HCR-Net 在首个训练周期内即达到最终性能的 99%，表明其具有极快的收敛速度。
• 与原始 VGG16 网络相比，可训练参数数量减少了 34%，显著提升了计算效率。
• 误分类主要源于字符间结构相似性（如 'ta' 和 'na'）、数据噪声以及手写质量差。
• 在多语言 HCR 任务中，HCR-Net 在准确率和训练效率方面显著优于现有迁移学习技术。