[논문 리뷰] Applying Data Augmentation to Handwritten Arabic Numeral Recognition Using Deep Learning Neural Networks

Akm Ashiquzzaman, Abdul Kawsar Tushar외 1명|arXiv (Cornell University)|2017. 08. 20.

Handwritten Text Recognition Techniques참고 문헌 7인용 수 3

한 줄 요약

이 논문은 데이터 증강을 적용하고 ReLU를 ELU 활성화 함수로 대체하여 과적합과 소실 기울기 문제를 완화함으로써 정확도를 99.4%로 향상시킨 딥 컨volution 신경망(CNN)을 제안한다. 이 방법은 증강된 훈련 데이터와 향상된 활성화 역학을 통해 특징 학습을 향상시켜 CMATERDB 3.3.1 데이터셋에서 이전 모델들을 능가한다.

ABSTRACT

Handwritten character recognition has been the center of research and a benchmark problem in the sector of pattern recognition and artificial intelligence, and it continues to be a challenging research topic. Due to its enormous application many works have been done in this field focusing on different languages. Arabic, being a diversified language has a huge scope of research with potential challenges. A convolutional neural network model for recognizing handwritten numerals in Arabic language is proposed in this paper, where the dataset is subject to various augmentation in order to add robustness needed for deep learning approach. The proposed method is empowered by the presence of dropout regularization to do away with the problem of data overfitting. Moreover, suitable change is introduced in activation function to overcome the problem of vanishing gradient. With these modifications, the proposed system achieves an accuracy of 99.4\% which performs better than every previous work on the dataset.

연구 동기 및 목표

• 기존의 딥 러닝 모델들을 초월하는 수준의 수기 아랍어 숫자 인식 정확도를 향상시키는 것.
• 작은 데이터셋에서의 과적합 문제를 데이터 증강과 드롭아웃 정규화를 통해 해결하는 것.
• ReLU를 ELU 활성화 함수로 교체하여 소실 기울기 문제를 완화하는 것.
• 구조적 및 활성화 함수의 수정을 통해 특징 학습과 모델 일반화를 향상시키는 것.
• 아랍어 숫자 인식 분야에서 CMATERDB 3.3.1 데이터셋에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 제안된 모델은 이전 연구 대비 두 개의 추가 완전 연결 층을 포함한 더 깊은 CNN 아키텍처를 사용한다.
• 훈련 중에 데이터 증강 기법이 적용되며, 랜덤 이동, 확대 및 이미지 뒤집기 등을 통해 훈련 다양성을 높인다.
• 내부 공변량 이동을 줄이고 기울기 흐름을 향상시키기 위해 ReLU 대신 ELU 활성화 함수를 사용한다.
• 과적합 방지를 위해 특히 완전 연결 층에서 드롭아웃 정규화를 적용한다.
• 모델은 100 에포크 동안 배치 크기가 128인 categorical cross-entropy 손실 함수와 Adadelta 옵timizer를 사용해 훈련된다.
• Theano 및 Keras 프레임워크를 통해 CUDA를 지원하는 GPU(NVIDIA GTX 625M)를 활용해 훈련 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 딥 러닝을 활용한 수기 아랍어 숫자 인식에서 데이터 증강이 일반화 및 정확도 향상에 상당한 기여를 할 수 있는가?
• RQ2 ReLU를 ELU로 교체하면 소실 기울기 문제를 줄이고 모델 수렴을 향상시킬 수 있는가?
• RQ3 데이터 증강과 ELU 활성화 함수의 조합이 기준 CNN 모델(ReLU 사용, 증강 없음)에 비해 성능에 어떤 영향을 미치는가?
• RQ4 구조적 개선(추가 완전 연결 층)이 인식 정확도 향상에 기여하는 정도는 어느 정도인가?
• RQ5 제안된 방법이 아랍어 숫자 인식 분야에서 CMATERDB 3.3.1 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 모델은 CMATERDB 3.3.1 데이터셋에서 테스트 정확도 99.4%를 달성하여 이전 방법들을 능가한다.
• 데이터 증강과 ELU를 적용한 모델은 기준 CNN(97.4% 정확도)과 MLP 기준 모델(93.8% 정확도)보다 우수한 성능을 보였다.
• 혼동 행렬은 전체 500개 샘플 테스트 세트에서 오직 두 건의 오분류만을 보이며 거의 완벽한 분류 성능을 나타낸다.
• 클래스 6에서 두 건의 오분류가 발생했으며, 한 이미지가 잘못되어 클래스 1로 예측된 것으로, 숫자 형태에 약간의 모호성이 있음을 시사한다.
• 데이터 증강은 효과적인 훈련 데이터 크기를 증가시켜 숫자 위치 및 크기 변화에 대한 강건성을 향상시켰다.
• ELU 활성화 함수는 더 안정적이고 균일한 학습 역학을 제공하여 죽은 ReLU 뉴런의 위험을 줄였다.