[論文レビュー] Applying Data Augmentation to Handwritten Arabic Numeral Recognition Using Deep Learning Neural Networks

Akm Ashiquzzaman, Abdul Kawsar Tushar+1 more|arXiv (Cornell University)|Aug 20, 2017

Handwritten Text Recognition Techniques参考文献 7被引用数 3

ひとこと要約

本稿では、データ拡張とReLUの代わりにELU活性化関数を採用することで、過学習と消失勾配問題を軽減し、99.4%の精度に向上した、手書きアラビア数字認識のための深層畳み込みニューラルネットワーク（CNN）を提案する。この手法により、拡張された訓練データと改善された活性化ダイナミクスを通じて特徴の学習が向上し、CMATERDB 3.3.1データセットにおいて、先行モデルを上回る性能を発揮する。

ABSTRACT

Handwritten character recognition has been the center of research and a benchmark problem in the sector of pattern recognition and artificial intelligence, and it continues to be a challenging research topic. Due to its enormous application many works have been done in this field focusing on different languages. Arabic, being a diversified language has a huge scope of research with potential challenges. A convolutional neural network model for recognizing handwritten numerals in Arabic language is proposed in this paper, where the dataset is subject to various augmentation in order to add robustness needed for deep learning approach. The proposed method is empowered by the presence of dropout regularization to do away with the problem of data overfitting. Moreover, suitable change is introduced in activation function to overcome the problem of vanishing gradient. With these modifications, the proposed system achieves an accuracy of 99.4\% which performs better than every previous work on the dataset.

研究の動機と目的

• 従来のディーパーラーニングモデルを上回る、手書きアラビア数字認識の精度向上を目的とする。
• データ拡張とドロップアウト正則化を用いて、小規模データセットにおける過学習を是正することを目的とする。
• ReLUの代わりにELU活性化関数を採用することで、消失勾配問題を軽減することを目的とする。
• アーキテクチャ的および活性化関数の変更を通じて、特徴の学習とモデルの一般化性能を向上させることを目的とする。
• アラビア数字認識において、CMATERDB 3.3.1データセットで最先端の性能を達成することを目的とする。

提案手法

• 提案手法は、先行研究と比較して、2つの追加された全結合層を備えたより深いCNNアーキテクチャを採用する。
• 訓練中にデータ拡張が適用され、ランダムなシフト、ズーム、画像の反転を用いて訓練の多様性を向上させる。
• 内部共変量シフトの低減と勾配の流れの改善を目的として、ReLUの代わりにELU活性化関数が使用される。
• 過学習の防止、特に全結合層における過学習の抑制を目的としてドロップアウト正則化が適用される。
• モデルは、100エポックにわたり、バッチサイズ128で、カテゴリー交差エントロピー損失関数とAdadelta最適化手法を用いて訓練される。
• TheanoおよびKerasフレームワークを介して、CUDA対応GPU（NVIDIA GTX 625M）を活用し、訓練を高速化する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングを用いた手書きアラビア数字認識において、データ拡張が一般化性能と精度を顕著に向上させ得るか？
• RQ2 ReLUをELUに置き換えることで、消失勾配問題が軽減され、モデルの収束性が向上するか？
• RQ3 データ拡張とELU活性化関数の組み合わせは、ReLUを用いたベースラインCNNや拡張なしのモデルと比較して、性能にどのように影響を与えるか？
• RQ4 アーキテクチャの強化（追加の全結合層）が、認識精度の向上にどの程度寄与しているか？
• RQ5 提案手法は、アラビア数字認識において、CMATERDB 3.3.1データセットで最先端の性能を達成できるか？

主な発見

• 提案モデルは、CMATERDB 3.3.1データセットにおいて99.4%のテスト精度を達成し、従来手法を上回った。
• データ拡張とELUを組み合わせたモデルは、ベースラインCNN（97.4%の精度）およびMLPベースライン（93.8%の精度）を上回った。
• 混同行列から、500サンプルのテストセット全体でわずか2件の誤分類が確認され、ほぼ完璧な分類が達成された。
• クラス6に2件の誤分類が見られたが、1枚の画像が誤ってクラス1に予測されたことから、数字の形状にわずかな曖昧さが存在することが示された。
• データ拡張の適用により、有効な訓練データサイズが増加し、数字の位置やスケールの変動に対する耐性が向上した。
• ELU活性化関数は、より安定的で均一な学習ダイナミクスを実現し、死滅ReLUニューロンのリスクを低減した。