[논문 리뷰] Large Vocabulary Arabic Online Handwriting Recognition System

Ibrahim Abdelaziz, Sherif Abdou외 1명|arXiv (Cornell University)|2014. 10. 17.

Handwritten Text Recognition Techniques참고 문헌 35인용 수 9

한 줄 요약

이 논문은 64,000개의 단어(언어 커버리지 92%)를 지원하는 대규모 어휘 HMM 기반의 온라인 아랍어 필기 인식 시스템을 제시한다. 지연된 획 처리를 위한 신규 전처리 방법과 음성 인식 기반의 고도화된 모델링 기법을 사용하며, 사용자당 200단어 미만으로도 작가 보정을 통해 87.5%의 정확도를 달성한다. 실시간 성능을 확보하면서도 소규모 및 대규모 어휘 모두에서 최신 기술을 초월하는 성능을 보였다.

ABSTRACT

Arabic handwriting is a consonantal and cursive writing. The analysis of Arabic script is further complicated due to obligatory dots/strokes that are placed above or below most letters and usually written delayed in order. Due to ambiguities and diversities of writing styles, recognition systems are generally based on a set of possible words called lexicon. When the lexicon is small, recognition accuracy is more important as the recognition time is minimal. On the other hand, recognition speed as well as the accuracy are both critical when handling large lexicons. Arabic is rich in morphology and syntax which makes its lexicon large. Therefore, a practical online handwriting recognition system should be able to handle a large lexicon with reasonable performance in terms of both accuracy and time. In this paper, we introduce a fully-fledged Hidden Markov Model (HMM) based system for Arabic online handwriting recognition that provides solutions for most of the difficulties inherent in recognizing the Arabic script. A new preprocessing technique for handling the delayed strokes is introduced. We use advanced modeling techniques for building our recognition system from the training data to provide more detailed representation for the differences between the writing units, minimize the variances between writers in the training data and have a better representation for the features space. System results are enhanced using an additional post-processing step with a higher order language model and cross-word HMM models. The system performance is evaluated using two different databases covering small and large lexicons. Our system outperforms the state-of-art systems for the small lexicon database. Furthermore, it shows promising results (accuracy and time) when supporting large lexicon with the possibility for adapting the models for specific writers to get even better results.

연구 동기 및 목표

• 대규모 어휘 사전을 갖춘 온라인 필기 인식 시스템에서 문법적으로 복잡하고 연결된 아랍어 텍스트를 인식하는 데 도전하는 것.
• 기존 시스템이 지연된 획 처리 및 소규모 어휘 지원에 어려움을 겪는 문제를 해결하는 것.
• 최소한의 사용자 맞춤형 적응 데이터로도 높은 정확도를 달성할 수 있는 확장성 있고 실시간 동작이 가능한 인식 시스템을 개발하는 것.
• 음성 인식에서 유래한 고도화된 HMM 학습 기법을 아랍어 필기 인식에 통합하여 성능 향상시키는 것.

제안 방법

• 맥락에 따라 달라지는 상태와 혼합 정규분포 모델을 사용한 은닉 마르코프 모델(HMM)을 활용하여 강력한 시퀀스 모델링을 수행한다.
• 초기 획 탐지 없이도 지연된 획을 재정렬할 수 있는 새로운 전처리 기법을 도입하여 단어의 구조와의 정렬을 향상시킨다.
• 고도화된 학습 기법으로는 작가 적응형 학습, 판별적 재학습, 적응형 혼합 정규분포 분할 기법을 포함한다.
• 실시간 펜 획 시퀀스(x, y, 시간)에서 특징 추출을 수행하여 HMM의 입력을 생성한다.
• 인식은 두 단계 디코딩 전략을 사용한다: 첫 번째 단계에서는 64,000개의 어휘 사전을 사용하고, 두 번째 단계에서는 5-그램 언어 모델을 사용해 가설을 재평가한다.
• 사용자 맞춤형 적응은 사용자당 200단어 미만으로도 수행되며, 모델 정밀 조정을 통해 정확도를 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 64,000개의 고유 단어를 높은 정확도로 지원할 수 있는 대규모 어휘 아랍어 온라인 필기 인식 시스템을 어떻게 설계할 수 있는가?
• RQ2 획 탐지 없이도 다양한 필기 스타일에 걸쳐 지연된 획을 효과적으로 처리할 수 있는 전처리 방법은 무엇인가?
• RQ3 음성 인식에서 유래한 고도화된 HMM 학습 기법이 아랍어 필기 인식 성능 향상에 얼마나 기여하는가?
• RQ4 사용자 맞춤형 적응 데이터를 200단어 이하로 제한해도 인식 정확도를 크게 향상시킬 수 있는가?
• RQ5 고차원 언어 모델 통합이 대규모 어휘 환경에서 인식 정확도에 어떤 영향을 미치는가?

주요 결과

• 첫 번째 단계에서 작가 독립적 모델을 사용한 ALTEC-AH 테스트 세트에서 80.07%의 정확도를 기록하였고, 두 번째 단계에서 5-그램 언어 모델을 사용한 재평가 후 87.47%로 향상되었다.
• 사용자당 200단어만으로도 적응된 시스템이 87.47%의 정확도를 달성하여 강력한 개인 맞춤화 능력을 입증하였다.
• 어휘에 포함된 단어들에 대해서만 볼 경우, 적응된 시스템은 95%의 정확도를 기록하여 사전에 등재된 단어에 대해 매우 높은 신뢰도를 보였다.
• 시스템은 거의 실시간 성능을 유지하였으며, 소규모 어휘에서는 1초 이내, 대규모 어휘에서는 2.2초 이내로 샘플을 인식하였다.
• 두 번째 단계 재평가에 0.15초밖에 걸리지 않아 성능 향상 효과가 뚜렷했으며, 고차원 언어 모델링의 효과를 입증하였다.
• 소규모 어휘 벤치마크에서 기존 최신 기술을 초월하였고, 대규모 어휘 응용 분야에 매우 유망한 성능을 보였다.