[논문 리뷰] Continuous Offline Handwriting Recognition using Deep Learning Models

Jorge Sueiras|arXiv (Cornell University)|2021. 12. 26.

Handwritten Text Recognition Techniques인용 수 8

한 줄 요약

이 논문은 특징 추출을 위해 합성곱 신경망(CNN)을, 순차적 전사에 대해 순서에서 순서로(seq2seq) 모델을 통합함으로써 연속적인 오프라인 수기 텍스트 인식(HTR)을 위한 새로운 딥러닝 모델을 제안한다. 이 방법은 표준 벤치마크에서 여러 언어(영어, 프랑스어, 스페인어)에 대해 경쟁력 있는 성능를 기록하며 강건성과 일반화 능력을 입증하고, seq2seq 기반 HTR 시스템에 대한 새로운 연구 방향을 열어 놓는다.

ABSTRACT

Handwritten text recognition is an open problem of great interest in the area of automatic document image analysis. The transcription of handwritten content present in digitized documents is significant in analyzing historical archives or digitizing information from handwritten documents, forms, and communications. In the last years, great advances have been made in this area due to applying deep learning techniques to its resolution. This Thesis addresses the offline continuous handwritten text recognition (HTR) problem, consisting of developing algorithms and models capable of transcribing the text present in an image without the need for the text to be segmented into characters. For this purpose, we have proposed a new recognition model based on integrating two types of deep learning architectures: convolutional neural networks (CNN) and sequence-to-sequence (seq2seq) models, respectively. The convolutional component of the model is oriented to identify relevant features present in characters, and the seq2seq component builds the transcription of the text by modeling the sequential nature of the text. For the design of this new model, an extensive analysis of the capabilities of different convolutional architectures in the simplified problem of isolated character recognition has been carried out in order to identify the most suitable ones to be integrated into the continuous model. Additionally, extensive experimentation of the proposed model for the continuous problem has been carried out to determine its robustness to changes in parameterization. The generalization capacity of the model has also been validated by evaluating it on three handwritten text databases using different languages: IAM in English, RIMES in French, and Osborne in Spanish, respectively. The new proposed model provides competitive results with those obtained with other well-established methodologies.

연구 동기 및 목표

• 단일 이미지에서 문자 수준의 분할 없이 연속적인 수기 텍스트를 전사할 수 있는 딥러닝 모델을 개발하는 것.
• 공간적 특징 추출을 위한 CNN과 수기의 순차적 의존성을 모델링하기 위한 seq2seq 아키텍처의 통합을 조사하는 것.
• 다양한 수기 텍스트 데이터베이스에서 여러 언어로의 일반화 능력을 평가하는 것.
• 데이터 전처리, 정규화, 증강 기법이 연속적인 HTR에서 모델 성능에 미치는 영향을 탐색하는 것.
• 특히 훈련 및 테스트 세트 간 데이터 부족과 분포 이탈 문제에 대한 현재 HTR 시스템의 한계를 규명하고 이를 해결하는 것.

제안 방법

• 수기 이미지의 공간적 특징을 추출하기 위한 합성곱 신경망(CNN) 구성요소와 전사된 텍스트를 생성하기 위한 순서에서 순서로(seq2seq) 디코더를 조합한다.
• 연속적인 HTR 모델에 통합하기 전에 최적의 CNN 아키텍처를 식별하기 위해 고립된 문자 인식에 대한 광범위한 실험을 수행한다.
• 노이즈 제거, 기울기 및 기울기 보정, 오르막과 내리막 부분의 정규화, 이미지 자르기/크기 조정 등의 이미지 전처리 단계를 적용한다.
• 모델의 강건성과 일반화 능력을 향상시키기 위해 탄성 왜곡과 같은 데이터 증강 기법을 사용한다.
• 일관된 일반화 평가를 위해 IAM, RIMES, Osborne 등의 다수의 데이터베이스에서 교차 검증을 수행한다.
• 단어 수준 및 줄 수준의 전사 테스트를 실시하며, 비교 분석을 위해 향후 줄 수준의 벤치마크로 평가를 확장할 계획이다.

실험 결과

연구 질문

• RQ1 문자 수준의 분할 없이 연속적인 수기 텍스트를 인식하는 데 있어 하이브리드 CNN-seq2seq 아키텍처의 효과는 어떠한가?
• RQ2 고립된 문자 인식에서 가장 우수한 성능를 보이는 컨볼루션 아키텍처는 무엇이며, 이를 연속적인 HTR에 효과적으로 전이할 수 있는가?
• RQ3 데이터 정규화와 데이터 증강 간의 상호작용은 HTR 모델의 정확도와 강건성 향상에 어떻게 기여하는가?
• RQ4 제안된 모델은 다양한 이미지 특성과 언어를 가진 수기 데이터베이스 간에 어느 정도 일반화되는가?
• RQ5 디코더 내부에 RNN 기반 언어 모델을 통합하는 것이 후처리 언어 모델보다 성능 향상에 기여하는가?

주요 결과

• 제안된 CNN-seq2seq 모델은 IAM(영어), RIMES(프랑스어), Osborne(스페인어) 데이터베이스에서 경쟁력 있는 성능를 기록하며 강력한 다국어 일반화 능력을 입증한다.
• 고립된 문자 인식에 대한 광범위한 분석을 통해 연속적인 HTR 모델에 통합하기 위한 최적의 CNN 아키텍처를 규명할 수 있었다.
• 데이터 증강과 정규화는 모델 정확도 향상에 크게 기여하지만, 정규화된 특징을 유지하기 위해 상호작용 최적화가 추가로 필요하다.
• 모델은 하이퍼파rameter 변화에 대해 강건성을 보이며, 다양한 훈련 설정에서 안정성을 확보한다.
• 초기 결과에 따르면, 수기 스타일 폰트를 사용한 합성 데이터 생성은 HTR에서 데이터 부족 문제를 해결하는 데 매우 유망한 접근법으로 나타났다.
• 모델은 최소한의 아키텍처 수정만으로 비라틴 문자 및 오른쪽에서 왼쪽으로 쓰는 글쓰기 체계에도 적응 가능하다.