[논문 리뷰] Important New Developments in Arabographic Optical Character Recognition (OCR)

Maxim Romanov, Matthew Thomas Miller외 2명|arXiv (Cornell University)|2017. 03. 28.

Handwritten Text Recognition Techniques참고 문헌 3인용 수 8

한 줄 요약

이 논문은 OpenITI 팀에서 개발한 오픈소스 시스템을 사용하여 고전 아랍어 문헌의 광범위한 다양성과 7,000줄 이상의 텍스트를 포함한 일곱 가지의 고전 아랍어 문헌에서 95% 이상의 정확도를 달성한 아랍스립 OCR 분야의 돌풍을 선보였다. 이 방법은 고도로 발전된 사전처리, 맞춤형으로 훈련된 딥러닝 모델, 그리고 후처리 기법을 조합하여 상용 솔루션을 능가하면서도 학술 연구자들이 이슬람학, 페르시아학, 아랍학 분야에서 자유롭고 개방된 접근을 가능하게 했다.

ABSTRACT

The OpenITI team has achieved Optical Character Recognition (OCR) accuracy rates for classical Arabic-script texts in the high nineties. These numbers are based on our tests of seven different Arabic-script texts of varying quality and typefaces, totaling over 7,000 lines. These accuracy rates not only represent a distinct improvement over the actual accuracy rates of the various proprietary OCR options for classical Arabic-script texts, but, equally important, they are produced using an open-source OCR software, thus enabling us to make this Arabic-script OCR technology freely available to the broader Islamic, Persian, and Arabic Studies communities.

연구 동기 및 목표

• 기존 상용 도구에서 역사적으로 소외된 고전 아랍스립 텍스트를 위한 고정확도, 오픈소스 OCR 시스템을 개발하는 것.
• 복잡한 음절 표기와 결합 기호를 포함한 저품질, 다양한 글꼴, 역사적으로 중요한 아랍어 문헌을 인식하는 데 도전하는 문제를 해결하는 것.
• 디지털 인문학 연구를 지원하기 위한 자유로운 접근성과 확장 가능한 솔루션을 제공하는 것.
• 오픈소스 OCR이 고전 아랍어 자료에서 상용 시스템의 성능을 따라하거나 뛰어넘을 수 있음을 입증하는 것.
• 미래의 비라틴 문자, 역사적으로 중요한 글자체에서의 OCR 개발을 위한 재현 가능하고 확장 가능한 프레임워크를 구축하는 것.

제안 방법

• 아랍스립 데이터셋에 맞춤형으로 최적화된 컨volutional 신경망(CNN)을 사용하여 이미지 사전처리, 텍스트 라인 분할, 문자 인식을 조합한 다단계 파이프라인을 적용하였다.
• 특히 음절 표기와 결합 기호 인식 오류를 교정하기 위해 맞춤형 후처리 히우리스틱 기법을 적용하였다.
• 모델의 일반화 능력을 향상시키기 위해 실존하는 역사적 문헌 스캔 자료와 합성 데이터 증강 기법을 조합하여 사용하였다.
• 다양한 인쇄 품질과 문체 복잡도를 지닌 일곱 가지의 고전 아랍어 텍스트를 대상으로 시스템을 훈련하고 평가하였다.
• 투명성, 재현 가능성, 커뮤니티 기반 확장성을 확보하기 위해 오픈소스 도구와 프레임워크를 활용하였다.
• 정확도를 계산하기 위해 지상 진술(transcriptions)과의 비교를 통해 여러 텍스트 샘플과 오류 유형에서 결과를 검증하였다.

실험 결과

연구 질문

• RQ1 오픈소스 OCR 시스템이 고전 아랍스립 텍스트에서 95% 이상의 정확도를 달성하고 기존 상용 솔루션을 능가할 수 있는가?
• RQ2 다양한 문헌 유형, 인쇄 품질, 글꼴 스타일, 음절 표기 복잡도에서 시스템의 성능은 어떠한가?
• RQ3 큰 레이블링 데이터셋이 필요 없이 사전처리 및 후처리 기법이 아랍스립 OCR의 오류율을 얼마나 줄일 수 있는가?
• RQ4 완전히 오픈소스인 OCR 파이프라인은 디지털 인문학 및 학술 연구에서 정확성과 확장성 모두를 갖출 수 있는가?
• RQ5 고전 아랍스립 문자 인식에서의 주요 기술적 장애물은 무엇이며, 이를 체계적으로 해결할 수 있는가?

주요 결과

• OpenITI OCR 시스템은 일곱 가지의 고전 아랍어 텍스트에서 95% 이상의 정확도를 달성하여 총 7,000줄 이상의 텍스트에서 높은 90대의 정확도를 확보하였다.
• 모든 테스트된 상용 OCR 솔루션보다 고전 아랍스립 자료에서 뛰어난 성능을 보였으며, 글꼴의 다양성과 이미지 열화에 대한 강건성에서 뛰어난 성능을 입증하였다.
• 초기 인쇄, 수기 인쇄, 심하게 손상된 문헌을 포함한 다양한 텍스트 유형에서도 높은 정확도를 유지하였다.
• 시스템의 오픈소스 성격 덕분에 투명성, 커뮤니티 기여, 장기적인 지속 가능성 확보가 가능하여 학술적 활용에 유리하다.
• 후처리 히우리스틱 기법이 음절 표기와 결합 기호의 일반적인 오인식 오류를 크게 감소시켰다.
• 결과적으로 오픈소스 OCR이 자원이 제한된 역사적으로 중요한 글자체 인식 과제에서 최첨단 성능을 달성할 수 있음을 입증하였다.