[논문 리뷰] Recognition of Handwritten Textual Annotations using Tesseract Open Source OCR Engine for information Just In Time (iJIT)

Sandip Rakshit, Subhadip Basu외 1명|arXiv (Cornell University)|2010. 03. 30.

Handwritten Text Recognition Techniques참고 문헌 8인용 수 25

한 줄 요약

이 논문은 Tesseract 오픈소스 OCR 엔진을 사용하여 Just-In-Time (iJIT) 정보 검색을 위한 사용자별 맞춤형 수기 OCR 시스템을 제안한다. 사용자별로 고립형 및 자유형 수기 샘플을 기반으로 맞춤형 언어 모델을 훈련시켜, 자유형 주석에서 다섯 명의 사용자에 대해 81.53%에서 92.88%의 문자 인식 정확도를 달성한다.

ABSTRACT

Objective of the current work is to develop an Optical Character Recognition (OCR) engine for information Just In Time (iJIT) system that can be used for recognition of handwritten textual annotations of lower case Roman script. Tesseract open source OCR engine under Apache License 2.0 is used to develop user-specific handwriting recognition models, viz., the language sets, for the said system, where each user is identified by a unique identification tag associated with the digital pen. To generate the language set for any user, Tesseract is trained with labeled handwritten data samples of isolated and free-flow texts of Roman script, collected exclusively from that user. The designed system is tested on five different language sets with free- flow handwritten annotations as test samples. The system could successfully segment and subsequently recognize 87.92%, 81.53%, 92.88%, 86.75% and 90.80% handwritten characters in the test samples of five different users.

연구 동기 및 목표

• 실시간으로 iJIT 시스템 내 수기 텍스트 주석을 인식하여 즉각적인 정보 접근을 가능하게 하기 위해.
• 자유형 글쓰기 스타일에서 사용자별로 다릅른 소문자 로마자 필기체를 인식하는 데 도전하는 데에.
• 개인의 글쓰기 스타일에 맞게 적응하는 Tesseract를 활용한 개인화된 OCR 모델을 개발하기 위해.
• 디지털 펜 기반 시스템에서 동적이고 제약 없는 수기 주석의 인식 정확도를 향상시키기 위해.
• 다양한 사용자로부터의 다양한 필기 샘플을 기반으로 시스템 성능을 평가하기 위해.

제안 방법

• Apache 라이선스 2.0 하에 사용되는 Tesseract OCR 엔진을 사용하여 사용자별 수기 인식 모델을 훈련시기 위해.
• 각 개인 사용자로부터 독점적으로 수집한 레이블이 부여된 수기 데이터 샘플—고립형 및 자유형—을 수집하기 위해.
• 사용자 개인의 수기 샘플을 기반으로 Tesseract를 훈련시켜 각 사용자별 고유의 언어 집합을 생성하기 위해.
• 자유형 수기 주석에서 개별 문자나 단어를 분리하기 위해 분할 기법을 적용하기 위해.
• 입력과 정확한 언어 모델을 연결하기 위해 고유한 디지털 펜 태그를 통한 사용자 식별을 수행하기 위해.
• 다섯 명의 다른 사용자로부터의 자유형 수기 주석 테스트 샘플을 사용하여 인식 성능을 검증하기 위해.

실험 결과

연구 질문

• RQ1 Tesseract는 자유형 글쓰기 스타일에서 사용자별로 다릅른 소문자 로마자 필기체를 효과적으로 미세조정하여 인식할 수 있는가?
• RQ2 고립형 및 자유형 샘플을 기반으로 훈련된 사용자별 언어 모델을 사용할 경우, 문자 인식 정확도는 어느 정도 달성될 수 있는가?
• RQ3 다양한 필기 스타일을 가진 여러 사용자 간에 시스템 성능은 어떻게 나타나는가?
• RQ4 디지털 펜 ID와 사용자별 OCR 모델을 통합하면 실시간, 맥락 인식 정보 검색이 가능해지는가?
• RQ5 훈련 데이터 유형(고립형 대비 자유형)이 제약 없는 필기에서 인식 성능에 어떤 영향을 미치는가?

주요 결과

• 한 사용자에 대해 시스템은 87.92%의 문자 인식 정확도를 달성했으며, 다섯 명의 테스트 사용자 중에서 가장 낮은 정확도는 81.53%였다.
• 특징이 뚜렷하고 일관된 필기 스타일을 가진 사용자에게서 최고의 인식률 92.88%가 기록되었다.
• 전반적으로 시스템은 추가로 두 명의 사용자에 대해 각각 86.75%와 90.80%의 문자를 정확히 인식하여 다양한 글쓰기 패턴에서도 뛰어난 내구성을 입증했다.
• 사용자별 언어 모델의 사용은 일반적인 OCR 모델에 비해 인식 성능을 크게 향상시켰다.
• 자유형 수기 주석은 효과적으로 분할되고 인식되었으며, 이는 시스템이 실세계 iJIT 응용에 적합함을 검증했다.
• 디지털 펜 ID와 개인화된 Tesseract 모델의 통합은 동적 환경에서 정확하고 사용자 인식 기반의 인식을 가능하게 했다.