[논문 리뷰] Handwritten Arabic Numeral Recognition using Deep Learning Neural Networks

Akm Ashiquzzaman, Abdul Kawsar Tushar|arXiv (Cornell University)|2017. 02. 15.

Handwritten Text Recognition Techniques참고 문헌 6인용 수 8

한 줄 요약

이 논문은 컨볼루션 신경망(CNN)을 사용한 딥러닝 기반의 손글씨 아랍 숫자 인식 방법을 제안하며, ReLU 활성화 함수와 드롭아웃 정규화를 적용하여 CMATERDB 3.3.1 데이터셋에서 97.4%의 정확도를 달성하였다. 이는 이전의 방법들을 초월한 성능이다. 또한 Das 등이 제시한 기존의 MLP 모델을 ReLU로 교체하고 드롭아웃을 추가하여 과적합을 줄였으며, 93.8%의 정확도를 유지하였다.

ABSTRACT

Handwritten character recognition is an active area of research with applications in numerous fields. Past and recent works in this field have concentrated on various languages. Arabic is one language where the scope of research is still widespread, with it being one of the most popular languages in the world and being syntactically different from other major languages. Das et al. \cite{DBLP:journals/corr/abs-1003-1891} has pioneered the research for handwritten digit recognition in Arabic. In this paper, we propose a novel algorithm based on deep learning neural networks using appropriate activation function and regularization layer, which shows significantly improved accuracy compared to the existing Arabic numeral recognition methods. The proposed model gives 97.4 percent accuracy, which is the recorded highest accuracy of the dataset used in the experiment. We also propose a modification of the method described in \cite{DBLP:journals/corr/abs-1003-1891}, where our method scores identical accuracy as that of \cite{DBLP:journals/corr/abs-1003-1891}, with the value of 93.8 percent.

연구 동기 및 목표

• 기존 방법들을 뛰어넘는 손글씨 아랍 숫자 인식의 정확도 향상.
• 드롭아웃 정규화를 통해 이전의 MLP 기반 접근 방식에서의 과적합 문제 해결.
• 동일한 데이터셋에서 CNN 모델과 수정된 MLP의 성능 비교.
• CNN을 통한 엔드 투 엔드 특징 학습이 수작업으로 선택한 특징 추출보다 우월함을 입증.

제안 방법

• 32×32 회색조 이미지에서 계층적인 특징을 추출하기 위해 다수의 컨볼루션 레이어를 사용하며, 각 레이어 뒤에 ReLU 활성화 함수와 최대 풀링을 적용.
• 최종 특징 맵은 평탄화되어 128개의 뉴런과 ReLU 활성화 함수를 가진 완전 연결 레이어를 통과한 후, 50% 드롭아웃 레이어를 거쳐 과적합을 방지.
• 출력 레이어는 0–9의 숫자에 대한 클래스 확률을 예측하기 위해 10개의 뉴런과 소프트맥스 활성화 함수를 사용.
• 모델은 1000 에포크 동안 배치 크기가 128인 카테고리형 교차 엔트로피 손실과 Adadelta 옵timizer를 사용하여 훈련.
• MLP 변종은 CNN 대신 완전 연결 네트워크를 사용하며, 입력 및 은닉층에 ReLU를 적용하고 25% 드롭아웃을 유지하면서 동일한 10-way 소프트맥스 출력을 유지.
• 두 모델 모두 이전 연구에서 사용한 88개의 수작업 특징을 선택하지 않고 전체 1024 픽셀 입력을 사용.

실험 결과

연구 질문

• RQ1 손글씨 아랍 숫자 인식에서 CNN 기반 모델이 이전의 MLP 기반 방법보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 드롭아웃 정규화가 아랍 숫자 인식 모델에서 과적합을 줄이는 데 얼마나 효과적인가?
• RQ3 이 작업에서 엔드 투 엔드 특징 학습을 통한 CNN의 성능이 수작업 특징 추출보다 뛰어난가?
• RQ4 표준 MLP와 CNN이 동일한 아랍 숫자 데이터셋에 적용되었을 때의 성능 격차는 얼마인가?

주요 결과

• 제안된 CNN 모델은 97.4%의 테스트 정확도를 달성하여 CMATERDB 3.3.1 데이터셋에서 보고된 바 가장 높은 정확도이다.
• 수정된 MLP 모델은 93.8%의 정확도를 기록하였으며, Das 등이 기술한 방법과 동일한 성능를 유지하면서도 더 나은 정규화를 제공하였다.
• CNN 모델은 원래의 MLP와 개선된 MLP를 모두 뛰어넘었으며, 컨볼루션 특징 학습의 우수성을 입증하였다.
• ReLU 활성화 함수와 드롭아웃 정규화가 두 모델 모두 과적합을 효과적으로 완화시켰다.
• 컨볼루션 신경망의 특징 추출에서의 계산적 이점은 완전 연결 네트워크 대비 일관된 성능 향상으로 확인되었다.
• 결과적으로, 적절한 정규화를 적용한 원시 픽셀 입력을 사용하는 딥러닝 모델이 수작업 특징에 의존하는 전통적 방법을 뛰어넘을 수 있음을 입증하였다.