[论文解读] LayoutParser: A Unified Toolkit for Deep Learning Based Document Image Analysis

Zejiang Shen, Ruochen Zhang+4 more|arXiv (Cornell University)|Mar 29, 2021

Handwritten Text Recognition Techniques参考文献 29被引用 16

一句话总结

LayoutParser 是一个开源的统一工具包，通过为版面检测、文本识别和流程构建提供直观的 API，简化了基于深度学习的文档图像分析。它使研究人员和从业者能够轻松部署、自定义和共享预训练模型及完整处理流程，显著缩短开发时间并提高文档数字化项目中的可复现性。

ABSTRACT

Recent advances in document image analysis (DIA) have been primarily driven by the application of neural networks. Ideally, research outcomes could be easily deployed in production and extended for further investigation. However, various factors like loosely organized codebases and sophisticated model configurations complicate the easy reuse of important innovations by a wide audience. Though there have been on-going efforts to improve reusability and simplify deep learning (DL) model development in disciplines like natural language processing and computer vision, none of them are optimized for challenges in the domain of DIA. This represents a major gap in the existing toolkit, as DIA is central to academic research across a wide range of disciplines in the social sciences and humanities. This paper introduces layoutparser, an open-source library for streamlining the usage of DL in DIA research and applications. The core layoutparser library comes with a set of simple and intuitive interfaces for applying and customizing DL models for layout detection, character recognition, and many other document processing tasks. To promote extensibility, layoutparser also incorporates a community platform for sharing both pre-trained models and full document digitization pipelines. We demonstrate that layoutparser is helpful for both lightweight and large-scale digitization pipelines in real-word use cases. The library is publicly available at https://layout-parser.github.io/.

研究动机与目标

• 解决社会科学与人文学科中基于深度学习的文档图像分析（DIA）缺乏标准化、可重用工具的问题。
• 克服因代码库不一致和配置不透明而导致的复杂、框架特定的深度学习模型难以复用的挑战。
• 为应用、自定义和扩展各类 DIA 任务（如版面检测和字符识别）中的深度学习模型，提供统一接口。
• 通过社区驱动的模型中心和平台，促进训练好的模型和完整数字化流程的共享与复用。
• 通过可扩展、文档齐全且模块化的组件，支持轻量级和大规模文档数字化工作流。

提出的方法

• 引入一种简单直观的 Python API，抽象化版面检测、文本识别和文档处理中的复杂深度学习操作。
• 利用模型动物园（Model Zoo）中的预训练深度学习模型（例如来自 PubLayNet 的 Mask R-CNN），实现无需训练即可立即部署。
• 提供数据标注、非极大值抑制和边界框过滤等实用函数，以简化数据集准备和推理流程。
• 通过模块化组件组合版面检测、图像裁剪和自定义 OCR 模型，实现端到端流程构建。
• 通过一致的接口和与常见深度学习框架的集成，支持在特定领域数据集上对模型进行微调和重新训练。
• 集成社区平台以共享模型、流程和讨论，促进可复现性和协作开发。

实验结果

研究问题

• RQ1 如何使基于深度学习的文档图像分析对缺乏深度学习专业知识的研究人员更加易用和可复用？
• RQ2 在文档图像分析中，统一多样化深度学习模型和工作流所需的架构与基础设施组件有哪些？
• RQ3 一个统一的工具包能否在极少配置下有效支持轻量级和大规模文档数字化流程？
• RQ4 社区驱动的模型和流程共享在多大程度上能提升可复现性并减少 DIA 领域的重复开发？
• RQ5 统一工具包在多大程度上能减少文档处理任务中对自定义规则系统的需求？

主要发现

• LayoutParser 仅需极少工作即可构建高精度的数字化流程，在具有独特字体的专用数据集上，版面检测的 Jaccard 分数达到 0.98，字符识别的平均 Levenshtein 距离为 0.17。
• 该工具包在法律文件档册中实现了稳健的表格检测，通过基于 Mask R-CNN 和基于规则的后处理的轻量级流程，准确识别表格区域并结构化单元格。
• LayoutParser 的模块化设计可无缝集成自定义 OCR 模型（如 CNN-RNN），适用于离线工具无法处理的领域特定文本识别任务。
• 该库通过消除手写规则的需要，显著降低开发时间和复杂度，使研究人员能够专注于模型自定义和评估。
• 社区平台和模型中心显著提升了可复用性，预训练模型和流程可立即用于多种文档类型。
• LayoutParser 支持推理和微调工作流，可在历史文献等具有非标准字体的专用数据集上实现高精度结果。