[論文レビュー] Handwritten Arabic Numeral Recognition using Deep Learning Neural Networks

Akm Ashiquzzaman, Abdul Kawsar Tushar|arXiv (Cornell University)|Feb 15, 2017

Handwritten Text Recognition Techniques参考文献 6被引用数 8

ひとこと要約

本稿では、ReLU活性化関数およびドロップアウト正則化を用いた畳み込みニューラルネットワーク（CNN）に基づく手書きアラビア数字認識のための深層学習手法を提案し、CMATERDB 3.3.1データセットで97.4％の精度を達成した。これは、従来の手法を上回るものであり、Dasらの既存のMLPモデルに対し、シグモイド関数をReLUに置き換え、ドロップアウトを追加することで、過学習を軽減しながら93.8％の精度を維持した。

ABSTRACT

Handwritten character recognition is an active area of research with applications in numerous fields. Past and recent works in this field have concentrated on various languages. Arabic is one language where the scope of research is still widespread, with it being one of the most popular languages in the world and being syntactically different from other major languages. Das et al. \cite{DBLP:journals/corr/abs-1003-1891} has pioneered the research for handwritten digit recognition in Arabic. In this paper, we propose a novel algorithm based on deep learning neural networks using appropriate activation function and regularization layer, which shows significantly improved accuracy compared to the existing Arabic numeral recognition methods. The proposed model gives 97.4 percent accuracy, which is the recorded highest accuracy of the dataset used in the experiment. We also propose a modification of the method described in \cite{DBLP:journals/corr/abs-1003-1891}, where our method scores identical accuracy as that of \cite{DBLP:journals/corr/abs-1003-1891}, with the value of 93.8 percent.

研究の動機と目的

• 従来の手法を上回る手書きアラビア数字認識の精度を向上させること。
• ドロップアウト正則化を用いて、従来のMLPベースのアプローチにおける過学習を軽減すること。
• 同じデータセット上で、CNNモデルと修正されたMLPの性能を比較すること。
• 畳み込みニューラルネットワークによるエンドツーエンドの特徴量学習が、手作業で選択された特徴量選択を上回ることを示すこと。

提案手法

• 32×32のグレースケール画像から階層的な特徴量を抽出するため、複数の畳み込み層を用い、各層の後にReLU活性化関数とマックスプーリングを適用するCNNアーキテクチャを採用する。
• 最終的な特徴マップをフラット化し、128ニューロンとReLU活性化関数を備えた全結合層を経由した後、50％ドロップアウト層を追加して過学習を防止する。
• 出力層には10ニューロンを設け、0〜9の数字のクラス確率を予測するためにソフトマックス活性化関数を用いる。
• モデルは、1000エポックにわたりバッチサイズ128で、カテゴリー交差エントロピー損失関数とAdadelta最適化手法を用いて学習される。
• MLPバージョンでは、CNNの代わりに全結合ネットワークを用い、入力層および隠れ層にReLU活性化関数を適用し、25％ドロップアウトを追加するが、10クラスのソフトマックス出力は同一である。
• 両モデルとも、先行研究が88個の手作業特徴量を用いたのとは異なり、1024ピクセルの入力をそのまま使用する。

実験結果

リサーチクエスチョン

• RQ1 手書きアラビア数字認識において、CNNベースのモデルは従来のMLPベースの手法を上回る精度を達成できるか？
• RQ2 ドロップアウト正則化は、アラビア数字認識モデルにおける過学習軽減にどの程度効果的か？
• RQ3 このタスクにおいて、エンドツーエンドの特徴量学習によるCNNの性能は、手作業特徴量抽出を上回るか？
• RQ4 同じアラビア数字データセットに適用した場合、標準的なMLPとCNNの間にはどの程度の性能差があるか？

主な発見

• 提案されたCNNモデルは、CMATERDB 3.3.1データセットで97.4％のテスト精度を達成し、これはこれまで報告された中で最高の精度である。
• 修正されたMLPモデルは93.8％の精度を達成し、Dasら[1]が報告した手法と同等の性能を維持したが、正則化が改善された。
• CNNモデルは、元のMLPおよび改善されたMLPを著しく上回り、畳み込み特徴量学習の優位性を示した。
• ReLU活性化関数とドロップアウト正則化の併用により、両モデルにおける過学習が効果的に抑制された。
• 畳み込みニューラルネットワークの特徴量抽出における計算的利点は、全結合ネットワークよりも一貫した性能向上により確認された。
• 結果から、適切な正則化を施した生ピクセル入力に基づく深層学習モデルが、手作業特徴量依存の従来手法を上回ることを裏付けた。