[논문 리뷰] Deep Learning Autoencoder Approach for Handwritten Arabic Digits Recognition

Mohamed Loey, Ahmed El-Sawy외 1명|arXiv (Cornell University)|2017. 06. 21.

Handwritten Text Recognition Techniques참고 문헌 26인용 수 48

한 줄 요약

이 논문은 60,000장의 훈련 이미지와 10,000장의 테스트 이미지를 포함한 MADBase 데이터셋을 활용하여 수작업으로 쓴 아랍 숫자를 인식하기 위한 스택드 오토에인코더(SAE) 기반의 비지도 특징 학습 방법을 제안한다. SAE는 여러 분류 알고리즘을 통해 평균 98.5%의 정확도를 달성하여 손글씨의 변동성과 대규모 데이터를 다룰 때 기존 방법에 비해 뚜렷한 향상을 보였다.

ABSTRACT

This paper presents a new unsupervised learning approach with stacked autoencoder (SAE) for Arabic handwritten digits categorization. Recently, Arabic handwritten digits recognition has been an important area due to its applications in several fields. This work is focusing on the recognition part of handwritten Arabic digits recognition that face several challenges, including the unlimited variation in human handwriting and the large public databases. Arabic digits contains ten numbers that were descended from the Indian digits system. Stacked autoencoder (SAE) tested and trained the MADBase database (Arabic handwritten digits images) that contain 10000 testing images and 60000 training images. We show that the use of SAE leads to significant improvements across different machine-learning classification algorithms. SAE is giving an average accuracy of 98.5%.

연구 동기 및 목표

• 다양한 글쓰기 스타일로 인한 아랍 숫자 손글씨의 변동성 문제를 해결하기 위해.
• 저자원 환경에서 스택드 오토에인코더를 활용한 비지도 사전 훈련을 통해 개선된 특징 표현을 탐색하기 위해.
• 다양한 최종 분류 알고리즘에 걸쳐 SAE가 특징 추출기로 효과적으로 작동하는지 평가하기 위해.
• 대규모 아랍 숫자 데이터셋인 MADBase에서 높은 인식 정확도를 달성하기 위해.
• SAE가 손글씨 숫자 인식 작업의 복잡성을 다룰 수 있는지에 대한 강건성을 입증하기 위해.

제안 방법

• 연구는 MADBase 데이터셋에서 비지도 사전 훈련을 위해 스택드 오토에인코더(SAE) 아키텍처를 사용한다.
• SAE는 다중 계층의 인코딩 및 디코딩을 통해 입력 이미지를 재구성함으로써 계층적이고 분산된 표현을 학습한다.
• 훈련된 SAE에서 추출한 특징를 다양한 지도 학습 분류 알고리즘의 입력으로 사용한다.
• 모델은 MADBase 데이터베이스의 60,000장의 수작업 아랍 숫자 이미지로 훈련되고 10,000장의 이미지로 테스트된다.
• 깊은 신경망 가중치를 효과적으로 초기화하기 위해 탐욕적인 계층별 훈련 전략을 사용한다.
• 사전 훈련 이후, SAE는 표준 분류 모델을 사용하여 지도 학습을 통해 미세조정된다.

실험 결과

연구 질문

• RQ1 스택드 오토에인코더는 아랍 숫자 손글씨 인식을 위한 분류 가능한 특징을 효과적으로 학습할 수 있는가?
• RQ2 분류 정확도 측면에서 SAE 기반 특징 학습은 전통적 방법에 비해 어떻게 비교되는가?
• RQ3 SAE를 활용한 비지도 사전 훈련은 대규모 레이블이 부여된 데이터셋이 필요한 정도를 어느 정도 줄이는가?
• RQ4 동일한 데이터셋에서 다양한 분류 알고리즘에 대해 SAE가 성능 향상에 기여하는가?
• RQ5 SAE는 아랍 손글씨의 높은 변동성, 특히 다양한 글쓰기 스타일이 존재할 경우에 어떤 영향을 미치는가?

주요 결과

• 스택드 오토에인코더는 여러 분류 알고리즘을 통해 평균 98.5%의 인식 정확도를 달성했다.
• SAE 기반 특징 학습은 수작업 아랍 숫자 인식에서 기준 방법에 비해 뚜렷한 우수성을 보였다.
• 모델은 다양한 분류기 간에 강력한 일반화 능력을 보여주어 강력한 특징 추출 능력을 입증했다.
• 비지도 사전 훈련의 사용으로 인해 인식 파이프라인에서 광범위한 수작업 레이블링이 필요로 하는 정도가 감소했다.
• SAE는 특히 다양한 글쓰기 스타일이 존재할 경우 아랍 손글씨의 복잡한 변동성을 효과적으로 포착했다.
• MADBase 데이터셋은 고성능의 딥 오토에인코더 아키텍처를 훈련하고 검증하는 데 성공적으로 활용되었다.