[논문 리뷰] Handwritten Arabic Character Recognition for Children Writ-ing Using Convolutional Neural Network and Stroke Identification

Mais Alheraki, Rawan Al-Matham외 1명|arXiv (Cornell University)|2022. 11. 03.

Handwritten Text Recognition Techniques인용 수 4

한 줄 요약

이 논문은 어린이들이 쓴 수필적 아랍 문자를 인식하기 위해 스트로크 기반 분류 기능을 보강한 컨볼루션 신경망(CNN) 모델을 제안한다. 이 모델은 Hijja 데이터셋에서 91%의 정확도를, 아랍 수필적 문자 데이터셋(AHCD)에서 97%의 정확도를 기록했으며, 스트로크 수를 기반으로 한 다중모델 접근 방식을 통해 두 데이터셋을 통합했을 때 평균 정확도를 96%로 향상시켰다.

ABSTRACT

Automatic Arabic handwritten recognition is one of the recently studied problems in the field of Machine Learning. Unlike Latin languages, Arabic is a Semitic language that forms a harder challenge, especially with variability of patterns caused by factors such as writer age. Most of the studies focused on adults, with only one recent study on children. Moreover, much of the recent Machine Learning methods focused on using Convolutional Neural Networks, a powerful class of neural networks that can extract complex features from images. In this paper we propose a convolutional neural network (CNN) model that recognizes children handwriting with an accuracy of 91% on the Hijja dataset, a recent dataset built by collecting images of the Arabic characters written by children, and 97% on Arabic Handwritten Character Dataset. The results showed a good improvement over the proposed model from the Hijja dataset authors, yet it reveals a bigger challenge to solve for children Arabic handwritten character recognition. Moreover, we proposed a new approach using multi models instead of single model based on the number of strokes in a character, and merged Hijja with AHCD which reached an averaged prediction accuracy of 96%.

연구 동기 및 목표

• 아랍 수필적 글자 인식에서 덜 다뤄진 분야인 어린이들이 쓴 수필적 문자를 인식하는 데 도전하는 것.
• 연령에 따른 글쓰기 패턴으로 인해 높은 변동성을 보이는 어린이의 글씨를 향상된 정확도로 인식하는 것.
• 어린이의 글씨에서 나타나는 구조적 차이를 더 잘 포착하기 위해 스트로크 수를 기반으로 한 다중모델 접근 방식을 개발하는 것.
• 다양한 글쓰기 스타일에 대해 일반화 능력을 향상시키기 위해 Hijja 및 AHCD 데이터셋을 통합하여 훈련 데이터 다양성을 높이는 것.
• 저자원, 연령에 특화된 수필적 아랍 문자 인식에서 CNN에 스트로크 식별 기능을 통합한 것이 효과적인지 입증하는 것.

제안 방법

• 어린이들이 쓴 아랍 문자를 인식하기 위해 Hijja 및 AHCD 데이터셋에 훈련된 단일 CNN 모델을 제안한다.
• 각 문자의 스트로크 수에 따라 분류 전략을 적용하여 스트로크 기반의 하위 모델으로 나누는 전략을 구현한다.
• 수필적 문자 이미지에서 계층적인 공간적 특징을 추출하기 위해 CNN 아키텍처를 미세 조정한다.
• 일반화 능력을 향상시키기 위해 데이터 증강 및 전이 학습 기법을 사용하여 모델을 훈련하고 검증한다.
• 다양한 스트로크 기반 모델의 예측을 통합하여 전체 인식 정확도를 향상시킨다.
• Hijja 및 AHCD 데이터셋을 통합하여 훈련 데이터의 다양성을 높이고 다양한 글쓰기 스타일에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 볼 때, CNN 기반 모델은 어린이들이 쓴 아랍 수필적 문자 인식에서 어떤 성능을 보이는가?
• RQ2 스트로크 수를 특징으로 삼는 것이 어린이의 글씨 인식 정확도에 어느 정도 향상 효과를 미치는가?
• RQ3 Hijja 및 AHCD 데이터셋을 통합하면 어린이의 아랍 수필적 글자 인식에서 더 나은 일반화와 높은 정확도를 달성할 수 있는가?
• RQ4 스트로크 수 기반의 다중모델 접근 방식은 단일 통합 모델 대비 성능과 내구성 측면에서 어떻게 비교되는가?
• RQ5 어린이의 아랍 수필적 글자 인식에서 발생하는 주요 과제는 무엇이며, 딥러닝과 구조적 분석을 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 CNN 모델은 Hijja 데이터셋에서 91%의 정확도를 기록했으며, 데이터셋 기여자들이 제시한 베이스라인 모델보다 뚜렷하게 뛰어난 성능을 보였다.
• 아랍 수필적 문자 데이터셋(AHCD)에서는 97%의 정확도를 달성하여 더 넓은 글쓰기 분포에서도 강력한 성능을 입증했다.
• 스트로크 수에 따라 문자를 분할하고 별도의 모델을 사용하는 다중모델 접근 방식은 Hijja 및 AHCD 데이터셋을 통합했을 때 평균 예측 정확도를 96%로 향상시켰다.
• 결과는 스트로크 기반 모델링이 어린이의 글씨에서 유일하게 나타나는 구조적 변형을 포착함으로써 인식 성능 향상에 기여한다는 것을 시사한다.
• 성능 향상에도 불구하고, 연구는 높은 변동성을 보이는 글쓰기 패턴으로 인해 여전히 어린이의 아랍 수필적 글자 인식에서 도전 과제가 존재함을 밝혔다.
• Hijja 및 AHCD 데이터셋의 조합은 모델의 일반화 능력을 크게 향상시켰으며, 이는 저자원 환경에서 강력한 HTR를 구현하기 위해 데이터 다양성이 핵심임을 시사한다.