[논문 리뷰] DocParser: Hierarchical Structure Parsing of Document Renderings

Johannes Rausch, Octavio Martínez외 3명|arXiv (Cornell University)|2019. 11. 05.

Topic Modeling참고 문헌 38인용 수 4

한 줄 요약

DocParser는 렌더링된 문서(예: PDF)에서 딥러닝과 역 LaTeX 렌더링 기반의 새로운 약한 감독 프레임워크를 결합하여 완전한 계층적 문서 구조를 추론하는 엔드 투 엔드 시스템이다. 이는 약한 감독 기반 베이스라인 대비 평균 정밀도 평균에서 39.1% 향상되고, 계층적 관계 분류에서 F1 스코어가 35.8% 향상된다.

ABSTRACT

Translating renderings (e. g. PDFs, scans) into hierarchical document structures is extensively demanded in the daily routines of many real-world applications. However, a holistic, principled approach to inferring the complete hierarchical structure of documents is missing. As a remedy, we developed "DocParser": an end-to-end system for parsing the complete document structure - including all text elements, nested figures, tables, and table cell structures. Our second contribution is to provide a dataset for evaluating hierarchical document structure parsing. Our third contribution is to propose a scalable learning framework for settings where domain-specific data are scarce, which we address by a novel approach to weak supervision that significantly improves the document structure parsing performance. Our experiments confirm the effectiveness of our proposed weak supervision: Compared to the baseline without weak supervision, it improves the mean average precision for detecting document entities by 39.1 % and improves the F1 score of classifying hierarchical relations by 35.8 %.

연구 동기 및 목표

• PDF와 같은 렌더링된 문서에서 완전한 계층적 문서 구조를 추론하기 위한 통합적이고 원칙적인 방법의 부족을 해결한다.
• 역 LaTeX 렌더링을 활용한 확장 가능한 약한 감독 프레임워크를 개발하여 문서 구조 분석의 데이터 부족 문제를 해결한다.
• 다양한 문서 엔터티와 그들의 계층적 관계를 포함하는 arXivdocs 데이터셋을 도입하여 종합적인 평가 벤치마크를 제공한다.
• PDF와 같은 렌더링 형식에서 손실된 구조적 정보(예: 표, 그림, 수식)를 복구하여 후속 NLP 작업을 가능하게 한다.
• 제한된 주석이 있는 학습 데이터에도 불구하고 표준 OCR 및 기존 파싱 방법보다 정확도와 내구성 면에서 뛰어난 성능을 보이는 시스템을 개발한다.

제안 방법

• 렌더링된 문서 이미지 내에서 텍스트, 표, 그림, 수식 등의 문서 엔터티를 검출하고 국소화하기 위해 마스크 R-CNN 기반의 인스턴스 세그멘테이션 모델을 활용한다.
• 이중 단계 관계 검출 파이프라인을 적용한다: 먼저 검출된 엔터티 간의 계층적 관계를 예측하고, 이후 그래프 신경망 또는 유사한 구조 인식 모듈을 사용해 예측을 정밀하게 보정한다.
• 역 LaTeX 렌더링을 통해 약한 레이블을 생성한다. 이는 원본 LaTeX 파일에서 경계 상자와 엔터티 카테고리(정확하지 않거나 노이즈가 있을 수 있음)를 추출한다.
• 약한 감독 레이블과 소량의 고품질 주석 예제를 함께 사용하여 다중 작업 학습 모델을 훈련시키며, 미세조정(WS+FT)을 통해 성능을 향상시킨다.
• LaTeX 소스의 구조적 일관성을 활용하여 다양한 문서 유형을 지원하는 확장 가능한 자동 레이블링 파이프라인을 구축한다.
• 향후 확장에서는 레이아웃 및 텍스트 특징(예: 단어 임베딩)을 통합하여 관계 분류 및 구조적 추론 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 역 LaTeX 렌더링 기반의 약한 감독 학습 프레임워크는 문서 구조 분석에서 고비용의 수동 주석 작업을 얼마나 효과적으로 줄일 수 있는가?
• RQ2 완전히 감독된 또는 비감독 기반의 베이스라인 대비, 약한 감독이 문서 엔터티 검출 및 그들의 계층적 관계 분류 성능에 얼마나 기여하는가?
• RQ3 표 안에 표가 있거나, 그림이 텍스트 영역 안에 포함된 것처럼 깊이 중첩된 구조를 복구하는 데 시스템의 효과는 어떠한가?
• RQ4 arXivdocs 데이터셋은 표와 같은 고립된 구성 요소를 넘어서 전체 문서 구조 분석을 평가하기 위한 견고한 벤치마크로 기능할 수 있는가?
• RQ5 정보 추출과 같은 후속 NLP 작업에 필수적인 구조적 의미를 유지하는 데 있어, 표준 OCR 파이프라인보다 시스템이 더 뛰어난가?

주요 결과

• 제안된 약한 감독 프레임워크는 약한 감독이 없는 베이스라인 대비 문서 엔터티 검출의 평균 정밀도 평균을 39.1% 향상시켰다.
• 약한 감독과 미세조정을 사용할 경우, 문서 엔터티 간 계층적 관계 분류의 F1 스코어가 35.8% 향상되었다.
• DocParser는 단일 GPU에서 문서당 약 340ms의 추론 속도를 기록했으며, CPU에서 관계 검출에 추가로 5.67ms가 소요되었다.
• F1 스코어가 0.5 이하일지라도 정성적 평가 결과 최종 문서 구조는 매우 정확한 것으로 나타나, 미세한 검출 오류에 대해 뛰어난 내구성을 보였다.
• 엄격한 평가 기준(작은 불일치도 허용하지 않음)을 적용함에도 불구하고, 시스템은 최신 기술의 OCR 시스템을 초월하여 구조적 의미를 효과적으로 유지했다.
• 127,472편의 과학 논문에서 유래한 arXivdocs 데이터셋은 주요 문서 엔터티와 그들의 계층적 관계를 모두 포함하여 풍부하고 다양한 평가 벤치마크를 제공하며, 종합적인 평가를 가능하게 한다.