[논문 리뷰] LayoutParser: A Unified Toolkit for Deep Learning Based Document Image Analysis

Zejiang Shen, Ruochen Zhang외 4명|arXiv (Cornell University)|2021. 03. 29.

Handwritten Text Recognition Techniques참고 문헌 29인용 수 16

한 줄 요약

LayoutParser는 딥러닝 기반 문서 이미지 분석을 단순화하기 위해 레이아웃 검출, 텍스트 인식, 파이프라인 구성에 대한 직관적인 API를 제공하는 오픈소스 통합 툴킷입니다. 이는 연구자와 실무자가 사전 훈련된 모델과 전체 처리 파이프라인을 쉽게 배포하고 커스터마이징하며 공유할 수 있도록 하여 문서 디지털화 프로젝트에서 개발 시간을 크게 단축하고 재현 가능성을 향상시킵니다.

ABSTRACT

Recent advances in document image analysis (DIA) have been primarily driven by the application of neural networks. Ideally, research outcomes could be easily deployed in production and extended for further investigation. However, various factors like loosely organized codebases and sophisticated model configurations complicate the easy reuse of important innovations by a wide audience. Though there have been on-going efforts to improve reusability and simplify deep learning (DL) model development in disciplines like natural language processing and computer vision, none of them are optimized for challenges in the domain of DIA. This represents a major gap in the existing toolkit, as DIA is central to academic research across a wide range of disciplines in the social sciences and humanities. This paper introduces layoutparser, an open-source library for streamlining the usage of DL in DIA research and applications. The core layoutparser library comes with a set of simple and intuitive interfaces for applying and customizing DL models for layout detection, character recognition, and many other document processing tasks. To promote extensibility, layoutparser also incorporates a community platform for sharing both pre-trained models and full document digitization pipelines. We demonstrate that layoutparser is helpful for both lightweight and large-scale digitization pipelines in real-word use cases. The library is publicly available at https://layout-parser.github.io/.

연구 동기 및 목표

• 사회과학 및 인문학 분야에서 딥러닝 기반 문서 이미지 분석(DIA)을 위한 표준화되고 재사용 가능한 도구의 부족을 해결한다.
• 일관되지 않은 코드베이스와 투명하지 않은 설정으로 인해 프레임워크별로 특화된 딥러닝 모델을 재사용하기 어려운 문제를 해결한다.
• 레이아웃 검출 및 문자 인식과 같은 다양한 DIA 작업에 대해 딥러닝 모델의 적용, 커스터마이징, 확장에 통합 인터페이스를 제공한다.
• 커뮤니티 기반의 모델 허브와 플랫폼을 통해 훈련된 모델과 전체 디지털화 파이프라인의 공유 및 재사용을 촉진한다.
• 경량 및 대규모 문서 디지털화 워크플로우를 모두 지원하는 확장성 있고 잘 문서화된 모듈식 구성 요소를 제공한다.

제안 방법

• 레이아웃 검출, 텍스트 인식, 문서 처리를 위한 복잡한 딥러닝 작업을 추상화한 간단하고 직관적인 파이썬 API를 도입한다.
• 사전 훈련된 딥러닝 모델(예: PubLayNet의 Mask R-CNN)을 포함한 모델 저널을 활용해 훈련 없이도 즉시 배포할 수 있도록 한다.
• 데이터 주석, 비최대 억제, 경계 상자 필터링 등의 유틸리티 함수를 제공하여 데이터셋 준비 및 추론 과정을 간소화한다.
• 모듈식 구성 요소를 통해 레이아웃 검출, 이미지 자르기, 커스텀 OCR 모델을 조합하여 엔드 투 엔드 파이프라인을 구축할 수 있도록 한다.
• 일致된 인터페이스를 사용해 도메인 특화 데이터셋에서 모델의 피니튜닝 및 재훈련을 지원하며, 일반적인 딥러닝 프레임워크와의 통합을 제공한다.
• 모델, 파이프라인, 토론을 공유할 수 있는 커뮤니티 플랫폼을 통합하여 재현 가능성과 협업 개발을 촉진한다.

실험 결과

연구 질문

• RQ1 딥러닝 전문 지식이 거의 없는 연구자들이 딥러닝 기반 문서 이미지 분석을 얼마나 쉽게 접근하고 재사용할 수 있도록 할 수 있는가?
• RQ2 다양한 딥러닝 모델과 워크플로우를 문서 이미지 분석 분야에서 통합하기 위해 필요한 아키텍처 및 인fra구성 요소는 무엇인가?
• RQ3 단일 툴킷이 최소한의 설정으로 경량 및 대규모 문서 디지털화 파이프라인을 효과적으로 지원할 수 있는가?
• RQ4 커뮤니티 기반의 모델 및 파이프라인 공유가 DIA 분야에서 재현 가능성을 향상시키고 중복 개발을 줄이는 데 얼마나 기여하는가?
• RQ5 통합 툴킷이 문서 처리 작업에서 커스텀 룰 기반 시스템의 필요성을 얼마나 줄일 수 있는가?

주요 결과

• LayoutParser는 최소한의 노력으로 매우 정확한 디지털화 파이프라인을 구축할 수 있으며, 고유한 폰트를 가진 특수 데이터셋에서 0.98의 Jaccard 스코어와 0.17의 평균 레벤슈타인 거리로 문자 인식 성능을 달성한다.
• 툴킷은 법적 도cket 문서에서 견고한 표 검출을 지원하여, Mask R-CNN 기반의 경량 파이프라인과 룰 기반 후처리를 통해 표 영역을 정확히 식별하고 셀을 구조화한다.
• LayoutParser의 모듈식 설계 덕분에, 표준 외부 도구가 실패하는 도메인 특화 텍스트 인식 작업에 대해 커스텀 OCR 모델(CNN-RNN 등)을 원활하게 통합할 수 있다.
• 수작업 룰이 필요 없어지면서 개발 시간과 복잡성이 감소하여 연구자들이 모델 커스터마이징과 평가에 집중할 수 있도록 한다.
• 커뮤니티 플랫폼과 모델 허브 덕분에 재사용성이 크게 향상되었으며, 다양한 문서 유형에서 즉시 사용 가능한 사전 훈련된 모델과 파이프라인이 제공된다.
• LayoutParser는 추론 및 피니튜닝 워크플로우를 모두 지원하여, 비표준 폰트를 사용하는 역사적 문서와 같은 특수 데이터셋에서도 고정확도 결과를 도출할 수 있다.