[논문 리뷰] OCR Post-Processing Error Correction Algorithm using Google Online Spelling Suggestion

Youssef Bassil, Mohammad Alwani|arXiv (Cornell University)|2012. 04. 01.

Handwritten Text Recognition Techniques참고 문헌 23인용 수 75

한 줄 요약

이 논문은 Google의 온라인 철자 검색 서비스를 활용하여 비어 있는 단어 오류와 실제 단어 오류를 모두 탐지하고 수정하는 맥락 인식 OCR 후처리 오류 보정 알고리즘을 제안한다. Google의 광범위한 웹 색인화된 어휘 데이터베이스를 이용함으로써, 이 방법은 OCR 출력 정확도를 크게 향상시키며, 실증적 평가를 통해 오류율 감소를 명확히 입증한다.

ABSTRACT

With the advent of digital optical scanners, a lot of paper-based books, textbooks, magazines, articles, and documents are being transformed into an electronic version that can be manipulated by a computer. For this purpose, OCR, short for Optical Character Recognition was developed to translate scanned graphical text into editable computer text. Unfortunately, OCR is still imperfect as it occasionally mis-recognizes letters and falsely identifies scanned text, leading to misspellings and linguistics errors in the OCR output text. This paper proposes a post-processing context-based error correction algorithm for detecting and correcting OCR non-word and real-word errors. The proposed algorithm is based on Google's online spelling suggestion which harnesses an internal database containing a huge collection of terms and word sequences gathered from all over the web, convenient to suggest possible replacements for words that have been misspelled during the OCR process. Experiments carried out revealed a significant improvement in OCR error correction rate. Future research can improve upon the proposed algorithm so much so that it can be parallelized and executed over multiprocessing platforms.

연구 동기 및 목표

• 디지타이징된 텍스트에서 지속적인 OCR 오류, 특히 비어 있는 단어와 실제 단어의 철자 오류를 해결하기 위해.
• OCR 출력 품질을 향상시키기 위한 맥락 민감한 오류 보정 접근법을 개발하기 위해.
• 특히 Google의 온라인 철자 제안 기능을 포함한 외부 언어 자원을 활용하여 보다 정확한 보정을 달성하기 위해.
• 웹 스케일 언어 모델을 OCR 후처리 파이프라인에 통합할 때의 효과를 평가하기 위해.

제안 방법

• 알고리즘은 어휘적 분석과 맥락 분석을 통해 OCR가 생성한 텍스트에서 잠재적 오류를 식별한다.
• 의심스러운 철자 오류가 있는 단어에 대해 Google의 온라인 철자 제안 API를 호출하여 보정 후보를 취득한다.
• Google의 웹 색인화된 코퍼스에서의 빈도와 관련성을 기반으로 후보 교체어를 순위 매긴다.
• 가장 타당한 보정 후보를 선택하기 위해 맥락 인식 필터링을 적용한다.
• 비어 있는 단어 오류(유효하지 않은 토큰)와 실제 단어 오류(보기에 맞지만 잘못된 단어)를 구분한다.
• 보정 결정은 주변 맥락과의 비교를 통해 언어적 일관성을 확보함으로써 내림차순으로 수행된다.

실험 결과

연구 질문

• RQ1 Google의 온라인 철자 제안 서비스는 OCR에 의해 유도된 비어 있는 단어 오류와 실제 단어 오류를 효과적으로 보정할 수 있는가?
• RQ2 Google의 제안 보정 후보에 대한 맥락 인식 선택 방식이 OCR 출력 품질 향상에 어떻게 기여하는가?
• RQ3 대규모 웹 기반 어휘 데이터베이스를 사용할 경우 OCR 후처리 정확도에 어떤 영향을 미치는가?
• RQ4 기본 사전 검색을 넘어서 외부 언어 모델이 오류 보정에 얼마나 기여할 수 있는가?

주요 결과

• 제안된 알고리즘은 Google의 광범위한 웹 색인화된 어휘 및 어구 데이터베이스를 활용함으로써 OCR 오류율을 크게 감소시킨다.
• Google의 제안 사항과 맥락 인식 필터링을 통합함으로써 보정 선택의 정밀도가 향상된다.
• 기존의 사전 기반 보정 기법에 비해 성능 향상이 뚜렷하게 나타난다.
• 실험 결과, OCR에서 흔히 발생하는 실제 단어 오류 역시 웹 스케일 언어 모델을 통해 효과적으로 보정할 수 있음을 확인했다.