[논문 리뷰] Sequence to Sequence Learning for Optical Character Recognition

D. K. Sahu, Mohak Sukhwani|arXiv (Cornell University)|2015. 11. 13.

Speech Recognition and Synthesis참고 문헌 12인용 수 12

한 줄 요약

이 논문은 인쇄된 텍스트 OCR를 위한 엔드 투 엔드 순환 인코더-디코더 아키텍처를 제안하며, LSTM 기반의 인코딩과 디코딩을 사용하여 가변 길이의 단어 이미지를 가변 길이의 텍스트 시퀀스로 매핑한다. 이 방법은 CTC 기반 모델과 비교해 경쟁적인 성능를 보이며, 전통적인 백오브워즈 및 SIFT 기반 방법보다 훨씬 뛰어난 검색 효율성과 정확도를 제공하는 표현력 있는 고정 차원 단어 임베딩을 생성한다.

ABSTRACT

We propose an end-to-end recurrent encoder-decoder based sequence learning approach for printed text Optical Character Recognition (OCR). In contrast to present day existing state-of-art OCR solution which uses connectionist temporal classification (CTC) output layer, our approach makes minimalistic assumptions on the structure and length of the sequence. We use a two step encoder-decoder approach -- (a) A recurrent encoder reads a variable length printed text word image and encodes it to a fixed dimensional embedding. (b) This fixed dimensional embedding is subsequently comprehended by decoder structure which converts it into a variable length text output. Our architecture gives competitive performance relative to connectionist temporal classification (CTC) output layer while being executed in more natural settings. The learnt deep word image embedding from encoder can be used for printed text based retrieval systems. The expressive fixed dimensional embedding for any variable length input expedites the task of retrieval and makes it more efficient which is not possible with other recurrent neural network architectures. We empirically investigate the expressiveness and the learnability of long short term memory (LSTMs) in the sequence to sequence learning regime by training our network for prediction tasks in segmentation free printed text OCR. The utility of the proposed architecture for printed text is demonstrated by quantitative and qualitative evaluation of two tasks -- word prediction and retrieval.

연구 동기 및 목표

• 분할을 피하고 가변 길이의 입력을 처리할 수 있는 엔드 투 엔드 딥 러닝 모델을 개발하기 위해.
• OCR를 위한 시퀀스-투-시퀀스 학습에서 LSTMs의 표현력과 학습 가능성에 대해 조사하기 위해.
• 인코더에서 생성된 고정 차원의 깊이 있는 단어 이미지 임베딩을 이용해 효율적이고 정확한 단어 검색을 가능하게 하기 위해.
• 제안된 아키텍처가 단어 예측 및 이미지 기반 텍스트 검색 모두에서 유용한지를 입증하기 위해.

제안 방법

• 가변 길이의 단어 이미지를 처리하고 고정 차원의 컨텍스트 벡터를 생성하기 위해 양방향 LSTM 인코더를 사용한다.
• 고정 차원 임베딩에서 가변 길이의 텍스트 출력을 생성하기 위해 조건부 LSTM 디코더를 활용한다.
• 교차 엔트로피 손실을 사용한 시퀀스-투-시퀀스 학습을 통해 인코더-디코더 아키텍처를 엔드 투 엔드로 학습한다.
• 검색 작업을 위해 인코더의 최종 은닉 상태를 깊이 있는 단어 이미지 임베딩(DwIE)으로 추출한다.
• DwIE 특징을 사용하여 근사 최근접 이웃 검색을 적용하여 효율적인 검색을 수행한다.
• 기준 모델로 CTC 기반 LSTMs, Tesseract, 그리고 Abbyy를 평가에 사용한다.

실험 결과

연구 질문

• RQ1 시퀀스-투-시퀀스 LSTM 인코더-디코더 모델은 CTC 기반 모델과 비교해 분할이 없는 인쇄된 텍스트 OCR에서 경쟁적인 성능를 달성할 수 있는가?
• RQ2 인코더가 학습한 고정 차원 임베딩은 후속 검색 작업에서 얼마나 표현력이 강한가?
• RQ3 제안된 아키텍처는 전통적인 백오브워즈 및 SIFT 기반 표현 방식보다 단어 이미지 검색에서 더 나은 성능를 보일 수 있는가?
• RQ4 예측 및 임베딩 학습 과정에서 단어 길이와 문자 구조의 변형은 모델에 어떻게 영향을 미치는가?

주요 결과

• LSTM 인코더-디코더 모델은 순수한 RNN보다 뛰어난 성능를 보이며, CTC 기반 LSTMs 및 Abbyy와 같은 상용 도구와 비교해 유사하거나 더 높은 단어 예측 정확도를 달성한다.
• 깊이 있는 단어 이미지 임베딩(DwIE)은 상위 100개 및 상위 5000개 검색 정확도에서 SIFT 기반 백오브워즈 및 확장된 프로파일 특징보다 뚜렷이 뛰어나다.
• 상위 5000개 검색에서 DwIE 특징은 Abbyy의 상용 OCR을 능가하지만, 상위 100개 검색에서는 유사한 성능를 보인다.
• t-SNE 시각화 결과 DwIE 임베딩이 구조적 및 언어적 유사성을 잘 포착하고 있음을 확인할 수 있으며, 'm'과 'M', 'a'와 'A', 숫자들이 함께 군집되어 있다.
• 모델은 점이나 소문자 등 작은 이미지 요소에 매우 민감하게 반응하여, 백오브워즈가 완전히 실패하는 'A.'와 같은 쿼리에서 검색 정밀도가 향상된다.
• 수렴 곡선을 통해 인코더-디코더 모델은 안정적인 학습을 보이며, 고정 차원 임베딩 덕분에 더 빠른 검색이 가능하다.