[논문 리뷰] Leveraging Text Repetitions and Denoising Autoencoders in OCR Post-correction

Kai Hakala, Aleksi Vesanto외 3명|arXiv (Cornell University)|2019. 06. 26.

Handwritten Text Recognition Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 대규모 OCR 코퍼스 내의 텍스트 반복을 활용하여 실제 오류 분포를 추정하고, 수동 레이블링 없이도 합성 훈련 데이터를 생성할 수 있는 새로운 OCR 후처리 방법을 제안한다. 이 실제 오류 분포를 기반으로 캐릭터 수준의 시퀀스-투-시퀀스 모델을 훈련시킴으로써, 균일한 노이즈 기반 베이스라인보다 뚜렷한 성능 향상을 이끌어내고, 황금 표준 성능에 근접하게 되었으며, 원본 OCR 대비 WER를 12.38pp 감소시켰다.

ABSTRACT

A common approach for improving OCR quality is a post-processing step based on models correcting misdetected characters and tokens. These models are typically trained on aligned pairs of OCR read text and their manually corrected counterparts. In this paper we show that the requirement of manually corrected training data can be alleviated by estimating the OCR errors from repeating text spans found in large OCR read text corpora and generating synthetic training examples following this error distribution. We use the generated data for training a character-level neural seq2seq model and evaluate the performance of the suggested model on a manually corrected corpus of Finnish newspapers mostly from the 19th century. The results show that a clear improvement over the underlying OCR system as well as previously suggested models utilizing uniformly generated noise can be achieved.

연구 동기 및 목표

• 대규모 텍스트 반복을 통해 실제 OCR 오류 패tern을 추정함으로써 수동으로 보정된 OCR 훈련 데이터에 대한 의존도를 줄이기 위해.
• 정렬된 반복 텍스트 스퍼브의 차이에서 유도된 캐릭터 수준의 치환 분포를 활용하여 실제 OCR 오류를 모방하는 합성 데이터 생성 방법을 개발하기 위해.
• 이러한 합성 데이터를 기반으로 신경 시퀀스-투-시퀀스 모델을 훈련하고, 균일한 노이즈 및 황금 표준 기반 베이스라인과의 성능을 평가하기 위해.
• 목표 데이터와 유사한 언어 스타일과 시대적 배경을 가진 코퍼스에서 학습한 데이터가 모델 성능에 필수적인지 조사하기 위해.
• 한국어 OCR 오류 중 하나의 문자가 여러 문자로 치환되는 복잡한 오류를 다룰 수 있는지의 가능성 탐색을 위해.

제안 방법

• 대규모 OCR 처리된 신문 코퍼스에서 텍스트 반복을 식별하고, 캐릭터 수준에서 정렬하여 오류 패턴을 추정한다.
• 반복 스퍼브 간의 차이에서 유도된 캐릭터 치환 분포를 계산하여, 's' → 'f' 또는 'b' → 'd'와 같은 체계적인 OCR 오류를 포착한다.
• 청결한 텍스트를 평행 코퍼스(Gutenberg 및 Kotus)에서 가져와, 경험적으로 유도된 오류 분포를 적용하여 합성 훈련 데이터를 생성한다.
• 인공적으로 손상된 텍스트를 정제하는 데 목적이 있는 캐릭터 수준의 시퀀스-투-시퀀스 신경망 모델을 훈련시킨다.
• 수동으로 보정된 핀란드 신문 텍스트로 구성된 보류 테스트 세트에서 CER(캐릭터 오류율)와 WER(단어 오류율)를 사용하여 모델 성능을 평가한다.
• 균일하게 생성된 노이즈로 훈련된 모델 및 수동 보정 데이터로 훈련된 황금 표준 모델과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 대규모 OCR 코퍼스 내의 텍스트 반복을 활용하여 OCR 시스템의 진짜 오류 분포를 신뢰성 있게 추정할 수 있는가?
• RQ2 경험적으로 유도된 오류 분포에서 유도된 합성 데이터로 훈련된 노이즈 제거 오토인코더가 균일하게 생성된 노이즈로 훈련된 모델보다 성능이 뛰어나게 되는가?
• RQ3 목표 데이터가 동일한 시대적 배경이지만 다른 장르일 경우, 청결한 사전 훈련 코퍼스의 선택(Gutenberg 대비 Kotus)이 모델 성능에 어떤 영향을 미치는가?
• RQ4 반복에서 유도된 합성 데이터로 훈련된 모델이 황금 표준 수동 보정 데이터로 훈련된 모델의 성능에 근접할 수 있는가?
• RQ5 현재의 합성 데이터 생성 기법이 하나의 문자가 여러 문자로 치환되는 복잡한 OCR 오류를 포괄하는 데에 어떤 한계를 지니는가?

주요 결과

• 실제 오류 분포를 사용한 합성 데이터로 훈련된 모델(GUT-REAL)은 23.24%의 단어 오류율(WER)을 기록하여 균일한 노이즈 기반 베이스라인(GUT-UNI, 25.35% WER)보다 뚜렷한 성능 향상을 보였다.
• Kotus 코퍼스에서 유도된 합성 데이터로 훈련된 모델(KOT-REAL)은 WER 23.45%를 기록하여, 코퍼스 장르의 유사성이 성능에 미치는 영향은 시간적·언어적 일관성보다 덜 중요함을 보여주었다.
• 황금 표준 모델은 WER를 16.76%로 낮혀 원본 OCR 시스템(29.14% WER) 대비 12.38%포인트 향상시켰으며, 합성 데이터와 수동 데이터 간의 격차를 드러냈다.
• Gutenberg에서 유도된 합성 데이터로 훈련된 모델는 전체 문장에 적용했을 때 원본 OCR 대비 WER에서 6.17%포인트 향상되었으며, 문맥 기반 보정의 잠재력이 있음을 시사했다.
• 황금 표준 데이터로 훈련된 모델는 전체 문장에서 WER가 23.40%포인트 감소하여, 더 큰 문맥을 다루기 위해서는 훨씬 더 많은 데이터 또는 아키텍처 적응이 필요함을 시사했다.
• 본 연구는 텍스트 반복 기반 오류 추정 기법이 고품질의 합성 데이터 생성을 가능하게 하여, 효과적인 OCR 후처리를 위한 수동 레이블링의 필요성을 줄일 수 있음을 결론 내렸다.