[논문 리뷰] An Efficient End-to-End Neural Model for Handwritten Text Recognition

Arindam Chowdhury, Lovekesh Vig|arXiv (Cornell University)|2018. 07. 20.

Handwritten Text Recognition Techniques인용 수 11

한 줄 요약

이 논문은 특징 추출을 위해 컨volutional 신경망(CNN)과 배치 정규화, 레이어 정규화, 포칼 손실, 비트 서치를 통합한 인코더-디코더 RNN 아키텍처를 결합한 종단간(end-to-end), 효율적인 신경망 모델을 제안한다. 이 모델은 입력 이미지의 해상도를 원본의 1/16으로 압축함으로써 계산량을 61% 감소시키고 메모리 사용량을 17% 줄였으며, IAM(+3.5%) 및 RIMES(+1.1%) 데이터셋에서 단어 수준 정확도에서 최신 기준(SOTA)을 달성한다.

ABSTRACT

Offline handwritten text recognition from images is an important problem for enterprises attempting to digitize large volumes of handmarked scanned documents/reports. Deep recurrent models such as Multi-dimensional LSTMs have been shown to yield superior performance over traditional Hidden Markov Model based approaches that suffer from the Markov assumption and therefore lack the representational power of RNNs. In this paper we introduce a novel approach that combines a deep convolutional network with a recurrent Encoder-Decoder network to map an image to a sequence of characters corresponding to the text present in the image. The entire model is trained end-to-end using Focal Loss, an improvement over the standard Cross-Entropy loss that addresses the class imbalance problem, inherent to text recognition. To enhance the decoding capacity of the model, Beam Search algorithm is employed which searches for the best sequence out of a set of hypotheses based on a joint distribution of individual characters. Our model takes as input a downsampled version of the original image thereby making it both computationally and memory efficient. The experimental results were benchmarked against two publicly available datasets, IAM and RIMES. We surpass the state-of-the-art word level accuracy on the evaluation set of both datasets by 3.5% & 1.1%, respectively.

연구 동기 및 목표

• 수작업 특징 추출 및 분할을 피하는 효율적이고 종단간 딥러닝 모델을 개발한다.
• 포칼 손실을 통해 문자 인식에서의 클래스 불균형 문제를 해결하고, 비트 서치를 통한 디코딩 향상으로 정확도를 향상시킨다.
• 정확도를 유지하면서 입력 이미지의 해상도를 낮춤으로써 계산 및 메모리 비용을 감소시킨다.
• IAM 및 RIMES와 같은 표준 벤치마크에서 기존 최신 기준(SOTA) 방법을 초월하는 단어 수준 정확도를 달성한다.

제안 방법

• 모델은 입력 크기를 원본 해상도의 1/16으로 줄여 압축한 텍스트 라인 이미지에서 시각적 특징을 추출하기 위해 깊은 컨volution 네트워크를 사용한다.
• 양방향 RNN 인코더는 특징 맵으로부터 공간적 및 순차적 맥락을 캡처하여 수직 및 수평 방향의 장기 의존성을 학습한다.
• 어텐션 메커니즘을 갖춘 포인터-제너레이터 스타일 디코더는 각 디코딩 단계에서 관련된 인코더 상태에 주의를 기울이며 문자 시퀀스를 생성한다.
• 모델은 문자 인식에서 흔히 발생하는 희귀 문자 문제를 완화하기 위해 포칼 손실을 사용하여 종단간으로 훈련된다.
• 훈련의 안정성과 수렴 속도 향상을 위해 배치 정규화와 레이어 정규화를 적용한다.
• 추론 과정에서 비트 서치를 사용하여 다수의 가설 시퀀스를 탐색하고, 공동 문자 확률 기반으로 가장 가능성이 높은 출력 시퀀스를 선택한다.

실험 결과

연구 질문

• RQ1 어 attention 메커니즘을 갖춘 하이브리드 CNN-RNN 인코더-디코더 모델이 수작업 특징 추출이 없는 전통적인 RNN-CTC 아키텍처를 능가할 수 있는가?
• RQ2 포칼 손실이 불균형한 문자 인식 작업에서 모델 성능 향상에 얼마나 기여하는가?
• RQ3 비트 서치는 게리 디코딩 대비 시퀀스 수준 정확도 향상에 얼마나 효과적인가?
• RQ4 정확도를 유지하면서 입력 이미지의 해상도를 낮춤으로써 계산 및 메모리 사용량을 크게 줄일 수 있는가?
• RQ5 배치 정규화 및 레이어 정규화와 같은 정규화 기법이 모델의 안정성과 성능 향상에 기여하는가?

주요 결과

• 제안된 모델은 IAM 데이터셋에서 16.7%의 단어 오류율(WER)과 RIMES 데이터셋에서 9.6%의 단어 오류율을 기록하여 이전 최신 기준(SOTA)보다 각각 3.5%포인트, 1.1%포인트 향상되었다.
• 입력 이미지를 원본 크기의 1/16으로 압축함으로써 계산 비용을 61% 감소시키고 메모리 소비량을 17% 줄였으며, 정확도에 큰 영향을 주지 않았다.
• 비트 서치 통합으로 게리 디코딩 대비 단어 수준 정확도가 4-5%p 향상되어 시퀀스 생성에서의 효과성을 입증했다.
• 포칼 손실과 레이어 정규화 각각 1-3%p 성능 향상을 기여했으며, 레이어 정규화가 데이터셋 간 일관성 있는 성능 향상을 보였다.
• 최신 기준(SOTA)보다 약간 높은 문자 오류율(CER)을 기록했음에도 불구하고 더 높은 단어 수준 정확도를 달성하여 전체적인 시퀀스 예측 능력이 뛰어나다는 것을 시사한다.
• 모델의 추론 시간은 Nvidia Tesla K40 GPU에서 라인당 1.5초로, 실세계 적용에 실용적인 효율성을 보였다.