[论文解读] Applying Data Augmentation to Handwritten Arabic Numeral Recognition Using Deep Learning Neural Networks

Akm Ashiquzzaman, Abdul Kawsar Tushar+1 more|arXiv (Cornell University)|Aug 20, 2017

Handwritten Text Recognition Techniques参考文献 7被引用 3

一句话总结

本文提出一种用于手写阿拉伯数字识别的深度卷积神经网络（CNN），通过应用数据增强并用ELU激活函数替代ReLU，将准确率提升至99.4%，有效缓解了过拟合与梯度消失问题。该方法通过增强的训练数据和改进的激活动态特性提升了特征学习能力，在CMATERDB 3.3.1数据集上优于先前模型。

ABSTRACT

Handwritten character recognition has been the center of research and a benchmark problem in the sector of pattern recognition and artificial intelligence, and it continues to be a challenging research topic. Due to its enormous application many works have been done in this field focusing on different languages. Arabic, being a diversified language has a huge scope of research with potential challenges. A convolutional neural network model for recognizing handwritten numerals in Arabic language is proposed in this paper, where the dataset is subject to various augmentation in order to add robustness needed for deep learning approach. The proposed method is empowered by the presence of dropout regularization to do away with the problem of data overfitting. Moreover, suitable change is introduced in activation function to overcome the problem of vanishing gradient. With these modifications, the proposed system achieves an accuracy of 99.4\% which performs better than every previous work on the dataset.

研究动机与目标

• 提升手写阿拉伯数字识别的准确率，超越现有深度学习模型。
• 通过数据增强与Dropout正则化，在小样本数据集上缓解过拟合问题。
• 通过用ELU激活函数替代ReLU，缓解梯度消失问题。
• 通过网络结构与激活函数的改进，增强特征学习能力与模型泛化性能。
• 在CMATERDB 3.3.1数据集上实现阿拉伯数字识别的最先进性能。

提出的方法

• 所提出的模型采用比先前工作更深的CNN架构，相比之前增加了两个全连接层。
• 在训练过程中应用数据增强，包括随机平移、缩放和图像翻转，以提升训练多样性。
• 使用ELU激活函数替代ReLU，以改善梯度流动并减少内部协变量偏移。
• 应用Dropout正则化以防止过拟合，特别是在全连接层中。
• 使用分类交叉熵损失函数与Adadelta优化器，在100个周期内以批量大小128进行训练。
• 通过Theano与Keras框架，在配备CUDA的GPU（NVIDIA GTX 625M）上加速训练。

实验结果

研究问题

• RQ1 数据增强是否能显著提升基于深度学习的手写阿拉伯数字识别的泛化能力与准确率？
• RQ2 用ELU替代ReLU是否能有效缓解梯度消失问题并改善模型收敛性？
• RQ3 与基线CNN（使用ReLU且无数据增强）相比，数据增强与ELU激活函数的结合对性能有何影响？
• RQ4 架构改进（增加全连接层）在提升识别准确率方面贡献有多大？
• RQ5 所提出方法是否能在CMATERDB 3.3.1数据集上实现阿拉伯数字识别的最先进性能？

主要发现

• 所提模型在CMATERDB 3.3.1数据集上达到99.4%的测试准确率，优于先前方法。
• 采用数据增强与ELU的模型优于基线CNN（准确率97.4%）与MLP基线模型（准确率93.8%）。
• 混淆矩阵显示分类近乎完美，整个500个样本的测试集中仅出现两次误分类。
• 类别6出现两次误分类，其中一张图像被错误预测为类别1，表明数字形状存在轻微歧义。
• 数据增强显著增加了有效训练数据规模，并提升了对数字位置与尺度变化的鲁棒性。
• ELU激活函数促进了更稳定且均匀的学习动态，降低了“死亡ReLU神经元”的风险。