[论文解读] Handwritten Arabic Character Recognition for Children Writ-ing Using Convolutional Neural Network and Stroke Identification

Mais Alheraki, Rawan Al-Matham+1 more|arXiv (Cornell University)|Nov 3, 2022

Handwritten Text Recognition Techniques被引用 4

一句话总结

本文提出一种结合笔画分类的卷积神经网络（CNN）模型，用于识别儿童书写的阿拉伯文手写字符。在Hijja数据集上达到91%的准确率，在阿拉伯文手写字符数据集（AHCD）上达到97%的准确率；通过基于笔画数的多模型方法，将两个数据集合并后平均准确率提升至96%。

ABSTRACT

Automatic Arabic handwritten recognition is one of the recently studied problems in the field of Machine Learning. Unlike Latin languages, Arabic is a Semitic language that forms a harder challenge, especially with variability of patterns caused by factors such as writer age. Most of the studies focused on adults, with only one recent study on children. Moreover, much of the recent Machine Learning methods focused on using Convolutional Neural Networks, a powerful class of neural networks that can extract complex features from images. In this paper we propose a convolutional neural network (CNN) model that recognizes children handwriting with an accuracy of 91% on the Hijja dataset, a recent dataset built by collecting images of the Arabic characters written by children, and 97% on Arabic Handwritten Character Dataset. The results showed a good improvement over the proposed model from the Hijja dataset authors, yet it reveals a bigger challenge to solve for children Arabic handwritten character recognition. Moreover, we proposed a new approach using multi models instead of single model based on the number of strokes in a character, and merged Hijja with AHCD which reached an averaged prediction accuracy of 96%.

研究动机与目标

• 解决识别儿童书写的阿拉伯文手写字符的挑战，该群体在阿拉伯文手写识别研究中较少被关注。
• 提升对儿童手写文字的识别准确率，因其受年龄相关书写模式影响而具有高度可变性。
• 开发一种基于笔画数的多模型方法，以更好地捕捉儿童手写中特有的结构差异。
• 通过合并Hijja和AHCD数据集来提升训练多样性与鲁棒性，从而增强模型性能。
• 证明CNN结合笔画识别在低资源、特定年龄群体的阿拉伯文手写字符识别中的有效性。

提出的方法

• 提出一个单一的CNN模型，基于Hijja和AHCD数据集进行训练，以识别儿童书写的阿拉伯文字符。
• 实施基于笔画的分类策略，根据每个字符的笔画数将字符划分为子模型。
• 微调CNN架构，以从手写字符图像中提取分层空间特征。
• 通过数据增强和迁移学习技术进行模型训练与验证，以提升泛化能力。
• 结合多个基于笔画数的模型的预测结果，以提高整体识别准确率。
• 合并Hijja和AHCD数据集，以增加训练数据的多样性，并提升模型在不同书写风格下的泛化能力。

实验结果

研究问题

• RQ1 与现有方法相比，基于CNN的模型在识别儿童书写的阿拉伯文手写字符方面表现如何？
• RQ2 将笔画数作为特征引入后，对儿童手写文字识别准确率的提升程度如何？
• RQ3 将Hijja和AHCD数据集合并是否能带来更好的泛化能力与更高的识别准确率？
• RQ4 基于笔画数的多模型方法与单一统一模型相比，在性能与鲁棒性方面表现如何？
• RQ5 识别儿童阿拉伯文手写文字面临的主要挑战是什么？如何通过深度学习与结构分析加以缓解？

主要发现

• 所提出的CNN模型在Hijja数据集上达到91%的准确率，显著优于数据集作者提供的基线模型。
• 在阿拉伯文手写字符数据集（AHCD）上，模型准确率达到97%，表明其在更广泛的手写分布中表现强劲。
• 多模型方法通过按笔画数划分字符并使用独立模型，将Hijja与AHCD数据集合并后，平均预测准确率提升至96%。
• 结果表明，基于笔画的建模能够通过捕捉儿童手写中特有的结构差异，提升识别效果。
• 尽管有所改进，研究仍识别出由于书写模式高度可变，儿童阿拉伯文手写识别仍面临持续挑战。
• Hijja与AHCD数据集的结合显著提升了模型的泛化能力，表明在低资源环境下，数据多样性对构建鲁棒手写识别系统至关重要。