[논문 리뷰] Case Study of a highly automated Layout Analysis and OCR of an incunabulum: 'Der Heiligen Leben' (1488)

Christian Reul, Marco Dittrich외 1명|arXiv (Cornell University)|2017. 01. 20.

Handwritten Text Recognition Techniques참고 문헌 3인용 수 5

한 줄 요약

이 논문은 1488년 간행된 인크나불럼 'Der Heiligen Leben'에 대해 레이아웃 분석과 OCR를 매우 자동화된 워크플로우로 구현하여 문자 수준 정확도 97.57%와 단어 수준 정확도 92.19%를 달성한다. LAREX를 통한 자동화된 레이아웃 분할과 Aletheia를 통한 수동 레이아웃 분할을 비교함으로써 인간의 노력은 100시간 이상에서 6시간 이내로 감소시키면서 정확도 손실는 최소화하였으며, 초기 인쇄된 책들을 디지털화하는 데 적용 가능한 스케일러블 모델을 제시한다.

ABSTRACT

This paper provides the first thorough documentation of a high quality digitization process applied to an early printed book from the incunabulum period (1450-1500). The entire OCR related workflow including preprocessing, layout analysis and text recognition is illustrated in detail using the example of 'Der Heiligen Leben', printed in Nuremberg in 1488. For each step the required time expenditure was recorded. The character recognition yielded excellent results both on character (97.57%) and word (92.19%) level. Furthermore, a comparison of a highly automated (LAREX) and a manual (Aletheia) method for layout analysis was performed. By considerably automating the segmentation the required human effort was reduced significantly from over 100 hours to less than six hours, resulting in only a slight drop in OCR accuracy. Realistic estimates for the human effort necessary for full text extraction from incunabula can be derived from this study. The printed pages of the complete work together with the OCR result is available online ready to be inspected and downloaded.

연구 동기 및 목표

• 1450–1500년대 기간 동안 간행된 인크나불럼에 대해 고품질의 종단 간 전자화 워크플로우를 문서화하는 것.
• 초기 인쇄된 책의 레이아웃 분석 및 OCR에서 자동화와 정확도 간의 상호 상충 관계를 평가하는 것.
• 자동화된 방법과 수동 방법을 비교하여 인크나불룸에서 전체 텍스트 추출을 위해 필요한 인간 노동을 정량화하는 것.
• 학술적 및 기술적 재사용을 위해 공개 가능한 고정밀 OCR 결과를 'Der Heiligen Leben'에 대해 제공하는 것.

제안 방법

• 워크플로우는 이미지 전처리, LAREX 도구를 이용한 자동화된 레이아웃 분석, Tesseract 3.01을 이용한 OCR를 통합한다.
• LAREX는 스캔된 페이지에서 텍스트 영역, 헤더, 장식 요소를 식별하기 위해 시나리오 분할을 수행한다.
• 수동 레이아웃 분석은 비교를 위한 황금 표준으로 Aletheia 도구를 사용한다.
• 문자 및 단어 수준의 OCR 정확도는 인식된 텍스트를 기준 전사본과 비교하여 평가한다.
• 각 처리 단계에 소요된 시간을 기록하여 대규모 디지털화에서의 노동 비용을 추정한다.
• 완전한 OCR 출력물과 스캔된 페이지는 공개적으로 배포되어 공개적 접근 및 검증이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 초기 인쇄된 책에 대해 레이아웃 분석 및 OCR를 얼마나 자동화할 수 있으며, 정확도를 손상시키지 않을 수 있는가?
• RQ2 완전히 자동화된 방법과 수동 방법 간 레이아웃 분할에 필요한 인간 노력은 어떻게 비교되는가?
• RQ3 인크나불룸 맥락에서 자동화된 레이아웃 분석이 OCR 정확도에 어떤 영향을 미치는가?
• RQ4 매우 자동화된 워크플로우가 학술적 사용에 적합한 신뢰할 수 있고 고품질의 OCR 결과를 생성할 수 있는가?

주요 결과

• OCR 시스템은 인크나불럼 'Der Heiligen Leben'에서 문자 수준 정확도 97.57%와 단어 수준 정확도 92.19%를 달성하였다.
• LAREX를 이용한 자동화된 레이아웃 분석으로 인해 인간의 노력이 100시간 이상에서 6시간 이내로 감소하였다.
• 수동 레이아웃 분석에서 자동화된 레이아웃 분석으로 전환했을 때 OCR 정확도의 약간의 감소는 최소였으며, 이는 자동화 방법의 높은 강건성을 시사한다.
• 이 연구는 인크나불룸에서 전체 텍스트 추출을 위해 필요한 인간 노동의 현실적인, 데이터 기반의 추정치를 제공하여 대규모 디지털화 프로젝트의 계획 수립을 보다 효과적으로 가능하게 한다.