[논문 리뷰] Classification of Documents Extracted from Images with Optical Character Recognition Methods

Ömer Aydın|arXiv (Cornell University)|2021. 06. 15.

Handwritten Text Recognition Techniques인용 수 7

한 줄 요약

이 논문은 스캔 또는 촬영한 문서를 분류하기 위해 광학 문자 인식(OCR)과 나이브 베이즈 알고리즘을 결합한 하이브리드 문서 분류 시스템을 제안한다. C#을 사용해 Windows에서 Visual Studio 환경을 활용하여, 두 가지 다른 OCR 기법을 통해 이미지를 처리하고 텍스트를 추출한 후, 높은 정확도로 사전 정의된 카테고리로 분류한다. 이는 실세계 응용 분야에서 자동 문서 처리의 실현 가능성을 입증한다.

ABSTRACT

Over the past decade, machine learning methods have given us driverless cars, voice recognition, effective web search, and a much better understanding of the human genome. Machine learning is so common today that it is used dozens of times a day, possibly unknowingly. Trying to teach a machine some processes or some situations can make them predict some results that are difficult to predict by the human brain. These methods also help us do some operations that are often impossible or difficult to do with human activities in a short time. For these reasons, machine learning is so important today. In this study, two different machine learning methods were combined. In order to solve a real-world problem, the manuscript documents were first transferred to the computer and then classified. We used three basic methods to realize the whole process. Handwriting or printed documents have been digitalized by a scanner or digital camera. These documents have been processed with two different Optical Character Recognition (OCR) operation. After that generated texts are classified by using Naive Bayes algorithm. All project was programmed in Microsoft Visual Studio 12 platform on Windows operating system. C# programming language was used for all parts of the study. Also, some prepared codes and DLLs were used.

연구 동기 및 목표

• 이미지에서 추출한 수기 및 인쇄된 문서를 자동으로 분류하기 위한 시스템을 개발하기 위해.
• 품질과 레이아웃이 다양하게 변하는 실세계 문서 이미지를 OCR 및 기계학습을 통해 처리하는 데 도전하는 데에.
• 다양한 OCR 방법과 확률적 분류기의 조합이 분류 정확도 향상에 기여하는지 평가하기 위해.
• 문서 디지털화 및 분류를 위한 접근 가능한 도구와 프로그래밍 환경을 사용해 실용적인 종단 간 솔루션을 구현하기 위해.

제안 방법

• 스캔하거나 디지털로 촬영한 문서 이미지를 두 가지 다른 광학 문자 인식(OCR) 방법을 사용해 텍스트 콘텐츠를 추출하기 위해 처리하였다.
• 이미지에서 추출한 텍스트는 분류를 위한 입력 품질 향상을 위해 사전 처리 및 정규화되었다.
• 추출된 텍스트는 확률적 특성 가중치 기반으로 사전 정의된 문서 카테고리로 나이브 베이즈 알고리즘이 적용되어 분류되었다.
• 전체 파이프라인은 Windows 플랫폼에서 Microsoft Visual Studio를 사용해 C#으로 구현되었다.
• OCR 功能과 텍스트 처리를 지원하기 위해 외부 라이브러리(DLL) 및 코드 모듈이 통합되었다.
• 성능은 표준 분류 메트릭을 사용해 수기 문서 데이터셋을 기반으로 훈련 및 평가하였다.

실험 결과

연구 질문

• RQ1 문서 이미지에서 텍스트 추출 정확도 향상에 있어 이중 OCR 접근법의 효과는 어떠한가?
• RQ2 나이브 베이즈 분류기는 OCR로 추출한 텍스트를 바탕으로 문서 유형을 신뢰성 있게 분류할 수 있는가?
• RQ3 여러 가지 OCR 기법을 조합함으로써 전체 분류 성능에 어떤 영향을 미치는가?
• RQ4 C#과 Visual Studio와 같은 표준 개발 도구를 사용해 이러한 시스템을 구현하는 데 얼마나 실현 가능한가?
• RQ5 이미지 품질이 분류 파이프라인의 정확도에 어느 정도 영향을 미치는가?

주요 결과

• 이중 OCR 접근법은 저품질 또는 노이즈가 많은 문서 이미지에서 텍스트 추출의 신뢰성을 향상시켰다.
• 테스트 데이터셋에서 나이브 베이즈 분류기는 높은 분류 정확도를 달성하여 문서 유형 인식에 효과적임을 입증했다.
• C# 기반 환경에서 OCR과 기계학습을 통합함으로써 기능적이고 배포 가능한 문서 분류 시스템을 구현할 수 있었다.
• 기존의 DLL 및 라이브러리의 사용은 개발 시간과 복잡성을 크게 감소시켰다.
• 최소한의 사전 처리로 인쇄된 문서와 수기 문서 양쪽 모두를 효과적으로 처리할 수 있었다.
• 본 연구는 OCR와 확률적 분류의 조합이 실세계 시나리오에서 자동 문서 처리를 위한 실현 가능한 솔루션임을 확인한다.