[논문 리뷰] Upcycle Your OCR: Reusing OCRs for Post-OCR Text Correction in Romanised Sanskrit

Amrith Krishna, Bodhisattwa Prasad Majumder외 2명|arXiv (Cornell University)|2018. 09. 06.

Natural Language Processing Techniques참고 문헌 32인용 수 4

한 줄 요약

이 논문은 복잡한 문자 체계와 낮은 스캔 품질로 인해 높은 오류율을 보이는 로마자로 표기된 산스크리트어 텍스트의 후처리 OCR 보정 모델을 제안한다. 이 모델은 기존의 사전 훈련된 OCR 시스템을 재사용하기 위해 복사 메커니즘을 갖춘 시퀀스 투 시퀀스 모델(CopyNet)을 적용한다. 제안된 모델은 이전 최고 성능 모델 대비 7.69% 높은 문자 인식률(Character Recognition Rate, CRR)을 달성하며, OCR 출력의 CRR를 35.76%에서 87.01%로 향상시킨다. 인간 평가 결과, 제안된 모델은 더 빠르고 정확한 보정을 가능하게 한다.

ABSTRACT

We propose a post-OCR text correction approach for digitising texts in Romanised Sanskrit. Owing to the lack of resources our approach uses OCR models trained for other languages written in Roman. Currently, there exists no dataset available for Romanised Sanskrit OCR. So, we bootstrap a dataset of 430 images, scanned in two different settings and their corresponding ground truth. For training, we synthetically generate training images for both the settings. We find that the use of copying mechanism (Gu et al., 2016) yields a percentage increase of 7.69 in Character Recognition Rate (CRR) than the current state of the art model in solving monotone sequence-to-sequence tasks (Schnober et al., 2016). We find that our system is robust in combating OCR-prone errors, as it obtains a CRR of 87.01% from an OCR output with CRR of 35.76% for one of the dataset settings. A human judgment survey performed on the models shows that our proposed model results in predictions which are faster to comprehend and faster to improve for a human than the other systems.

연구 동기 및 목표

• 로마자 알파벳을 사용하는 언어에 대해 사전 훈련된 OCR 시스템을 재사용할 수 있는 후처리 OCR 보정 프레임워크를 제안함으로써, 로마자로 표기된 산스크리트어에 대해 이용 가능한 데이터셋과 OCR 시스템의 부족 문제를 해결하고자 한다.
• 낮은 품질의 스캔과 고유한 문자 체계 도전 과제로 인해 높은 오류율을 보이는 로마자로 표기된 산스크리트어 텍스트의 OCR 출력의 강건성과 정확도를 향상시키고자 한다.
• 산스크리트어와 같이 자원이 제한된 언어에 대해, 복사 메커니즘을 갖춘 시퀀스 투 시퀀스 모델이 기존의 순서 레이블링 모델보다 단조로운 시퀀스 보정 작업에서 더 우수한 성능을 보일 수 있는지 평가하고자 한다.
• 실제 스캔 오류의 특성을 반영한 현실적인 왜곡을 가진 합성 데이터 생성이, 대규모 애너테이션 데이터셋이 필요 없이도 실제 OCR 오류 보정을 위한 모델 훈련에 효과적으로 기여할 수 있는지 입증하고자 한다.
• 인간 평가를 통해 모델의 실용적 유용성을 검증하고, 모델 예측 결과를 바탕으로 한 인간 검토자의 보정 속도와 정확도를 측정하고자 한다.

제안 방법

• 제안된 모델는 어텐션 메커니즘과 복사 메커니즘을 갖춘 시퀀스 투 시퀀스 아키텍처를 사용하여, 분할되지 않은 로마자로 표기된 산스크리트어 텍스트의 OCR 오류를 보정한다.
• 합성 훈련 이미지는 디지털화된 산스크리트어 텍스트를 기반으로 하며, 실세계 스캔 변형을 모방하기 위해 제어된 왜곡(예: 노이즈, 블러, 침식)을 적용한다. 이는 두 가지 다른 환경 설정에서 수행된다.
• 모델는 스캔된 문헌의 시각적 특성(예: DPI, 대비, 텍스트라인 품질 등)을 반영한 합성 데이터로 훈련된다.
• 복사 메커니즘 덕분에 입력 OCR 출력에서 정확한 문자를 유지함으로써, 유사한 형태의 기호를 잘못 인식하는 오류를 줄일 수 있다.
• 모델는 고품질 스캔과 저품질 스캔(60 DPI)을 포함한 두 가지 실제 테스트 세트에서 평가되며, 열악한 조건에서도 OCR의 강건성을 시뮬레이션한다.
• 인간 평가 연구에서는 45개의 테스트 문자열에 대한 익명화된 예측 결과를 바탕으로, OCR 출력, CRF 기반 모델(PCRF), 제안된 CopyNet 모델 간의 보정 속도와 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 로마자로 표기된 산스크리트어의 OCR 오류 보정 작업에서, 복사 메커니즘을 갖춘 시퀀스 투 시퀀스 모델이 기존의 순서 레이블링 모델보다 우수한 성능을 보일 수 있는가?
• RQ2 실제 스캔 왜곡을 반영한 합성 데이터는 자원이 제한된 언어의 후처리 OCR 보정 모델의 강건성 향상에 어느 정도 기여하는가?
• RQ3 로마자로 표기된 산스크리트어 텍스트의 저품질 스캔에 대해, 제안된 모델은 상용 OCR 시스템(Google Cloud Vision 등)과 비교해 어떤 성능을 보이는가?
• RQ4 제안된 모델은 기존 시스템 대비 더 이해하기 쉽고 인간이 더 쉽게 보정할 수 있는 출력을 생성하는가?
• RQ5 재훈련 없이도 다양한 문헌 스타일과 OCR 품질 수준 간에 일반화 성능를 유지를 할 수 있는가?

주요 결과

• 제안된 CopyNet 모델은 로마자로 표기된 산스크리트어의 후처리 OCR 보정 작업에서 이전 최고 성능 모델(Schnober et al., 2016) 대비 7.69% 높은 문자 인식률(Character Recognition Rate, CRR)을 달성한다.
• 저품질 스캔 설정(60 DPI)에서 초기 CRR가 35.76%였던 OCR 출력을 87.01%로 향상시켜, OCR 오류에 대한 강건성을 잘 보여준다.
• 인간 평가 결과, 참가자들은 CopyNet 예측 결과에서 평균 4.44개의 문장을 올바르게 보정했으며, PCRF 모델은 3.56개, 원본 OCR 출력은 3.11개였다.
• 보정 시간은 CopyNet이 1개 문자열당 81.4초로 가장 빠르며, PCRF(106.6초)와 OCR(127.6초)보다 유의미하게 빠르게 나타나, 사용성 향상이 뚜렷하다.
• 10개의 랜덤 노이즈 설정을 사용한 일반화된 설정에서 모델은 CRR 89.02%를 기록했으며, 정제된 테스트 세트에서 보고된 89.65%와 매우 유사한 성능을 보였다.
• 매우 낮은 CRR(최소 36%)를 보이는 OCR 출력에서도 강력한 성능를 유지함으로써, 심각한 OCR 열화에 대한 내성성을 입증했다.