[논문 리뷰] Global Table Extractor (GTE): A Framework for Joint Table Identification and Cell Structure Recognition Using Visual Context

Xinyi Zheng, Doug Burdick외 3명|arXiv (Cornell University)|2020. 05. 01.

Handwritten Text Recognition Techniques참고 문헌 42인용 수 12

한 줄 요약

이 논문은 시각적 맥락을 활용하여 테이블을 동시에 검출하고 셀 구조를 인식하는 시각 기반 프레임워크인 글로벌 테이블 추출기(GTE)를 제안한다. 기존의 객체 검출 모델보다 테이블 수준의 포함 제약 조건을 강제하고 계층적 셀 검출을 활용하여 성능을 향상시켰다. GTE는 ICDAR 2013 및 2019에서 최고 성능을 기록하였으며, RetinaNet 대비 FinTabNet에서 셀 구조 인식 성능이 45% 이상 향상되었다.

ABSTRACT

Documents are often used for knowledge sharing and preservation in business and science, within which are tables that capture most of the critical data. Unfortunately, most documents are stored and distributed as PDF or scanned images, which fail to preserve logical table structure. Recent vision-based deep learning approaches have been proposed to address this gap, but most still cannot achieve state-of-the-art results. We present Global Table Extractor (GTE), a vision-guided systematic framework for joint table detection and cell structured recognition, which could be built on top of any object detection model. With GTE-Table, we invent a new penalty based on the natural cell containment constraint of tables to train our table network aided by cell location predictions. GTE-Cell is a new hierarchical cell detection network that leverages table styles. Further, we design a method to automatically label table and cell structure in existing documents to cheaply create a large corpus of training and test data. We use this to enhance PubTabNet with cell labels and create FinTabNet, real-world and complex scientific and financial datasets with detailed table structure annotations to help train and test structure recognition. Our framework surpasses previous state-of-the-art results on the ICDAR 2013 and ICDAR 2019 table competition in both table detection and cell structure recognition with a significant 5.8% improvement in the full table extraction system. Further experiments demonstrate a greater than 45% improvement in cell structure recognition when compared to a vanilla RetinaNet object detection model in our new out-of-domain FinTabNet.

연구 동기 및 목표

• PDF 및 스캔된 이미지에서 논리적 테이블 구조를 복원하는 데 도전하는 문제를 해결하기 위해.
• 시각적 맥락과 글로벌 테이블 스타일 신호를 활용하여 테이블 검출 및 셀 구조 인식을 향상시키기 위해.
• 테이블 구조 인식 모델을 훈련하고 평가하기 위해 세부적인 셀 수준의 애너테이션을 포함한 대규모 고품질 데이터셋을 구축하기 위해.
• 기존 객체 검출기 및 OCR 파이프라인과 통합이 가능한 모듈식이고 유연한 프레임워크를 개발하기 위해.
• 다양한 문서 유형에서 테이블 검출 및 셀 구조 인식 성능 모두에서 기존 최고 성능을 뛰어넘기 위해.

제안 방법

• GTE-Table는 셀이 테이블 내에 있어야 하며, 테이블은 여러 개의 셀을 포함해야 하는 자연스러운 포함 제약 조건을 기반으로 한 새로운 페널티 손실을 도입한다.
• GTE-Cell은 먼저 글로벌하게 테이블 스타일을 분류한 후, 다양한 스타일에 맞는 전용 검출기를 적용하여 셀 정위를 향상시키는 계층적 검출 네트워크를 활용한다.
• 셀 클러스터 기반 알고리즘은 검출된 바운딩 박스를 논리적 행과 열로 그룹화하여 정확한 셀 구조 재구성 가능하게 한다.
• 다단계 훈련 파이프라인을 사용한다: 먼저 테이블 스타일 분류기가 훈련되고, 이후 동일한 스타일 분포의 데이터를 사용하여 테이블 및 셀 검출기가 미세조정된다.
• 약한 지도 학습 기반의 데이터 레이블링 방법은 기존 문서에 대해 자동으로 셀 수준의 애너테이션을 생성하여 대규모 사전 훈련을 가능하게 한다.
• 과학 논문(PubTabNet) 및 재무 보고서(FinTabNet)와 같은 도메인 특화 데이터에 대해 미세조정을 통해 전이 학습을 지원한다.

실험 결과

연구 질문

• RQ1 글로벌 테이블 포함 제약 조건을 강제하면 공동 테이블 검출 및 셀 구조 인식 성능이 향상되는가?
• RQ2 테이블 스타일 기반의 계층적 검출 방식은 일반 객체 검출기보다 더 나은 셀 정위 성능을 낼 수 있는가?
• RQ3 약한 지도 학습 기반의 레이블링 방법이 복잡한 테이블 구조를 위한 충분한 고품질 훈련 데이터를 생성할 수 있는가?
• RQ4 스타일이 훈련 데이터와 다를 수 있는 도메인 외부 데이터셋, 예를 들어 재무 보고서와 같은 데이터셋에서 프레임워크의 성능은 어떠한가?
• RQ5 제안된 프레임워크가 기존 최고 성능 모델 대비 테이블 검출 및 구조 인식 모두에서 얼마나 뛰어난 성능을 보이는가?

주요 결과

• GTE는 ICDAR 2013 테이블 검출 및 구조 인식 벤치마크에서 최고 성능을 기록하여 이전 방법들을 능가한다.
• ICDAR 2019 경진대회에서 GTE는 테이블 테두리 검출에 대해 가중 F1 점수 94를 기록하였으며, 최상위 방법들과 유사한 높은 정밀도와 재현율을 확보하였다.
• FinTabNet에서의 셀 구조 인식 성능을 평가한 결과, GTE는 미세조정 없이 TEDS 점수를 41.57(기준선)에서 87.14로 향상시키고, 미세조정을 적용하면 91.02까지 상승시켰다.
• GTE는 FinTabNet에서 기존의 순수 RetinaNet 기준선 대비 셀 구조 인식 성능을 45% 이상 향상시켜, 도메인 외부 데이터에 대한 강력한 일반화 능력을 입증하였다.
• 셀 수준 애너테이션을 추가한 개선된 PubTabNet는 TEDS 점수 93.01을 기록하여 원본 점수 88.38보다 크게 향상되었다.
• 프레임워크의 성능은 애너테이션의 모호성에 대해 강건하며, 복잡한 테이블의 구조 인식에 있어서 IOU=0.1이 IOU=0.9보다 더 신뢰할 수 있는 메트릭으로 나타났다.