[논문 리뷰] Improving OCR Accuracy on Early Printed Books using Deep Convolutional Networks

Christoph Wick, Christian Reul외 1명|arXiv (Cornell University)|2018. 02. 27.

Handwritten Text Recognition Techniques인용 수 4

한 줄 요약

이 논문은 깊이 있는 아키텍처와 증가된 훈련 데이터를 활용하여 초기 인쇄된 책에서 문자 오류율(CER)을 0.5% 이하로 낮추기 위해 투표 기반의 CNN-LSTM 하이브리드 모델을 제안한다. 이 방법은 표준 LSTM 기반 OCR보다 오류 감소율이 최대 44% 높으며, 추론 속도는 유사하게 유지한다.

ABSTRACT

This paper proposes a combination of a convolutional and a LSTM network to improve the accuracy of OCR on early printed books. While the standard model of line based OCR uses a single LSTM layer, we utilize a CNN- and Pooling-Layer combination in advance of an LSTM layer. Due to the higher amount of trainable parameters the performance of the network relies on a high amount of training examples to unleash its power. Hereby, the error is reduced by a factor of up to 44%, yielding a CER of 1% and below. To further improve the results we use a voting mechanism to achieve character error rates (CER) below $0.5%$. The runtime of the deep model for training and prediction of a book behaves very similar to a shallow network.

연구 동기 및 목표

• 초기 인쇄된 책에서 글꼴과 철자에 높은 변동성이 존재하는 OCR의 문자 오류율(CER)을 줄이기 위해.
• 각 책마다 광범위한 수동 레이블링이 필요한 표준 LSTM 기반 OCR 모델의 한계를 극복하기 위해.
• 충분한 훈련 데이터가 제공될 경우 더 깊은 아키텍처와 더 많은 학습 가능한 파라미터를 사용하여 성능을 향상시키기 위해.
• 훈련 데이터 크기와 투표 기반 기법이 역사적 문서 OCR에서 CER 감소에 미치는 영향을 평가하기 위해.
• GPU 가속과 다중 스레딩을 통해 효율적인 훈련과 추론을 가능하게 하기 위해.

제안 방법

• 컨volutional 및 풀링 레이어가 양방향 LSTM 레이어 이전에 위치한 CNN-LSTM 하이브리드 아키텍처를 사용하여 선 이미지에서 공간적 및 순차적 특징을 추출한다.
• 입력 이미지와 텍스트 시퀀스를 정렬하기 위해 연결주의 시간 분류(CTC) 손실 함수를 사용하여 모델을 훈련시킨다.
• 다양성과 강건성을 향상시키기 위해 다섯 개의 독립된 모델을 훈련하기 위해 교차 검증 훈련 방식을 적용한다.
• 가장 일반적인 문자를 선택하기 위해 ISRI 분석 도구 기반의 투표 기반 기법을 사용하며, 최장 공통 부분 문자열을 통한 정렬 후 적용한다.
• GPU 가속 훈련과 추론을 가능하게 하기 위해 텐서플로우 기반으로 구현한다.
• 배치 처리와 다중 스레딩을 사용하여 훈련 및 예측을 최적화하며, 다양한 스레드 수에 따른 성능을 평가한다.

실험 결과

연구 질문

• RQ1 CNN-LSTM 하이브리드 모델은 표준 LSTM 기반 OCR 시스템보다 초기 인쇄된 책에서 CER를 더 효과적으로 줄일 수 있는가?
• RQ2 레이블이 붙은 훈련 데이터의 양을 늘일 경우, 역사적 텍스트에서 깊이 있는 OCR 모델의 성능에 어떤 영향을 미치는가?
• RQ3 여러 개의 훈련된 네트워크에서 유도된 다양한 예측에 대해 투표 기반 기법을 적용할 경우, OCR 정확도는 어느 정도 향상되는가?
• RQ4 충분한 훈련 데이터가 제공될 경우, 더 깊은 아키텍처와 더 많은 파라미터를 가진 모델이 더 높은 성능을 낼 수 있는가, 비록 복잡도가 높더라도?
• RQ5 훈련 및 추론 효율성 측면에서 깊이 있는 모델의 런타임은 표준 OCR 시스템과 비교해 어떻게 되는가?

주요 결과

• 제안된 CNN-LSTM 모델은 표준 LSTM 기반 OCR 대비 최대 44%의 오류 감소율을 기록하여, 테스트한 세 권의 초기 인쇄된 책 모두에서 CER 1% 이하를 달성한다.
• 투표 기반 기법을 추가함으로써 모든 책에서 CER가 0.5% 이하로 떨어지며, 3000개의 훈련 라인을 사용할 경우 Book 1488의 경우 최소 0.37%까지 감소한다.
• 표준 OCRopus와 유사한 추론 속도를 유지하며, 네이티브 C++에서 효율적인 CTC 디코딩 덕분에 라인당 시간이 절반으로 줄어든다.
• 4개의 CPU 스레드까지 사용할 경우, 컨volution 연산의 병렬 처리 덕분에 훈련 시간이 약 40% 감소한다.
• 훈련 데이터가 증가함에 따라 모델 성능 향상이著명하며, 투표 적용 후 CER는 1000라인일 경우 1.0%에서 2000라인일 경우 0.66%로 감소하고, 3000라인일 경우 0.37%로 추가 감소한다.
• 깊이 있는 모델은 확장성이 뛰어나고 효율적이며, 예측 시간에 대한 오버헤드가 최소화되고 GPU 기반 배치 훈련으로부터 강력한 성능 향상을 얻는다.