[论文解读] Case Study of a highly automated Layout Analysis and OCR of an incunabulum: 'Der Heiligen Leben' (1488)

Christian Reul, Marco Dittrich+1 more|arXiv (Cornell University)|Jan 20, 2017

Handwritten Text Recognition Techniques参考文献 3被引用 5

一句话总结

本文提出了一套高度自动化的排版分析与OCR工作流程，应用于1488年出版的《圣徒生平》（Der Heiligen Leben）手抄本，字符级准确率达到97.57%，词级准确率达到92.19%。通过对比自动化（LAREX）与人工（Aletheia）的排版分割方法，将人工工作量从100多小时减少至六小时以内，且准确率损失极小，为早期印刷书籍的可扩展数字化提供了有效范例。

ABSTRACT

This paper provides the first thorough documentation of a high quality digitization process applied to an early printed book from the incunabulum period (1450-1500). The entire OCR related workflow including preprocessing, layout analysis and text recognition is illustrated in detail using the example of 'Der Heiligen Leben', printed in Nuremberg in 1488. For each step the required time expenditure was recorded. The character recognition yielded excellent results both on character (97.57%) and word (92.19%) level. Furthermore, a comparison of a highly automated (LAREX) and a manual (Aletheia) method for layout analysis was performed. By considerably automating the segmentation the required human effort was reduced significantly from over 100 hours to less than six hours, resulting in only a slight drop in OCR accuracy. Realistic estimates for the human effort necessary for full text extraction from incunabula can be derived from this study. The printed pages of the complete work together with the OCR result is available online ready to be inspected and downloaded.

研究动机与目标

• 记录1450–1500年间手抄本《圣徒生平》的高质量端到端数字化工作流程。
• 评估早期印刷书籍排版分析与OCR中自动化与准确率之间的权衡。
• 量化使用自动化与人工方法从手抄本中提取完整文本所需的人工工作量。
• 为学术与技术再利用，公开提供《圣徒生平》的高保真OCR结果。

提出的方法

• 工作流程整合了图像预处理、使用LAREX工具的自动化排版分析，以及Tesseract 3.01的OCR处理。
• LAREX执行场景分割，识别扫描页面中的文本区域、标题及装饰性元素。
• 使用Aletheia工具进行人工排版分析，作为对比的黄金标准。
• 通过将识别结果与真实文本转录进行比对，评估字符级与词级OCR准确率。
• 记录每个处理步骤的时间消耗，以估算大规模数字化项目中的人力成本。
• 完整OCR输出与扫描页面已在线发布，供公众访问与验证。

实验结果

研究问题

• RQ1 在不牺牲准确率的前提下，早期印刷书籍的排版分析与OCR能在多大程度上实现自动化？
• RQ2 全自动方法与人工方法在排版分割所需的人工工作量上存在何种差异？
• RQ3 在手抄本背景下，自动化排版分析对OCR准确率有何影响？
• RQ4 高度自动化的流程能否生成可靠且高质量的OCR结果，适用于学术用途？

主要发现

• OCR系统在《圣徒生平》手抄本上实现了97.57%的字符级准确率与92.19%的词级准确率。
• 使用LAREX进行自动化排版分析，将人工工作量从100多小时减少至六小时以内。
• 与人工排版分析相比，OCR准确率的轻微下降可忽略不计，表明自动化方法具有极强的鲁棒性。
• 本研究提供了关于从手抄本中提取完整文本所需人工劳动的现实、数据驱动估算，有助于大规模数字化项目的更优规划。