[논문 리뷰] TableBank: A Benchmark Dataset for Table Detection and Recognition

Minghao Li, Lei Cui외 4명|arXiv (Cornell University)|2019. 03. 05.

Handwritten Text Recognition Techniques참고 문헌 30인용 수 30

한 줄 요약

이 논문은 공개된 Word 및 LaTeX 문서에서 약화된 감독 학습을 통해 생성된 417,234개의 레이블이 부여된 표를 포함하는 대규모 고품질 기준 데이터셋인 TableBank을 소개한다. 이 데이터셋을 바탕으로 저자들은 엔드 투 엔드 표 검출 및 구조 인식을 위한 최신 딥러닝 모델을 기반으로 강력한 베이스라인을 수립하였으며, 실제 문서 레이아웃에 걸쳐 일반화 능력을 향상시키기 위해 다양한 대규모 학습 데이터가 필수적임을 입증한다.

ABSTRACT

We present TableBank, a new image-based table detection and recognition dataset built with novel weak supervision from Word and Latex documents on the internet. Existing research for image-based table detection and recognition usually fine-tunes pre-trained models on out-of-domain data with a few thousand human-labeled examples, which is difficult to generalize on real-world applications. With TableBank that contains 417K high quality labeled tables, we build several strong baselines using state-of-the-art models with deep neural networks. We make TableBank publicly available and hope it will empower more deep learning approaches in the table detection and recognition task. The dataset and models are available at \url{https://github.com/doc-analysis/TableBank}.

연구 동기 및 목표

• 실제 문서 응용 분야에서 이미지 기반 표 검출 및 인식을 위한 대규모, 다양한, 고품질의 학습 데이터 부족 문제를 해결하기 위해.
• 기존 데이터셋이 작고 도메인에 특화되어 있어 레이아웃 및 포맷 변형에 대해 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 구조화된 소스 문서(Word 및 LaTeX)에서 약화된 감독 학습을 활용하여 고품질 학습 데이터를 자동으로 생성할 수 있는 확장 가능한 방법을 개발하기 위해.
• 다양한 문서 유형과 레이아웃을 통해 표 검출 및 구조 인식 모델 평가를 위한 표준 기준 데이터셋을 구축하기 위해.
• 대규모 개방형 학습 데이터를 활용하여 엔드 투 엔드 딥러닝 접근 방식이 도메인 간 일반화 능력을 더 잘 향상시킬 수 있도록 하기 위해.

제안 방법

• Native Word (.docx) 및 LaTeX (.tex) 문서의 구조적 마크업을 활용하여 내부 XML 및 TeX 코드 파싱을 통해 표 경계를 자동으로 추출한다.
• 마크업 태그(예: LaTeX에서 \begin{table}, Office Open XML에서 table 요소)를 통해 표 영역을 식별함으로써 약화된 감독 학습을 적용하여 인간 레이블 없이도 자동으로 바운딩 박스 레이블을 부여한다.
• 연구 논문, 사업 문서, 공식 제출서류 등 다양한 도메인에서 417,234개의 고품질 이미지 기반 표 인스턴스로 구성된 대규모 데이터셋을 구축한다.
• Faster R-CNN을 활용한 표 검출 및 인코더-디코더 기반 이미지-텍스트 시퀀스 모델을 활용한 표 구조 인식을 위한 최신 딥러닝 모델을 훈련 및 평가한다.
• 다른 문서 소스와 레이아웃에 대해 모델 일반화 능력을 평가하기 위해 Word 및 LaTeX 문서에서 별도의 테스트 세트를 구성한다.
• 연구 향후 기여를 지원하기 위해 데이터셋과 모델을 https://github.com/doc-analysis/TableBank 에 공개한다.

실험 결과

연구 질문

• RQ1 구조화된 문서 소스(Word 및 LaTeX)에서 약화된 감독 학습을 통해 대규모 고품질 학습 데이터를 표 검출 및 인식에 활용할 수 있는가?
• RQ2 다양한 데이터로 훈련된 모델이 다양한 문서 레이아웃 및 포맷에서 표 검출 및 구조 인식 성능에 어떻게 영향을 미치는가?
• RQ3 학습 데이터 크기와 다양성이 증가할수록 이미지 기반 표 분석 모델의 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 TableBank에서 훈련된 엔드 투 엔드 딥러닝 모델이 소규모 인간 레이블 기반 데이터셋에 의존하는 기존 방법을 초월할 수 있는가?
• RQ5 LaTeX에서 생성된 데이터로 미세조정된 모델이 Word 기반 데이터로의 일반화 능력은 어떠한가? 이는 도메인 일반화에 대해 어떤 시사점을 갖는가?

주요 결과

• TableBank 데이터셋은 417,234개의 고품질 이미지 기반 표 인스턴스를 포함하여 기존 기준 데이터셋보다 수개의 주기수 더 크다.
• TableBank에서 훈련된 모델는 레이아웃 및 포맷 변형에 걸쳐 일반화 능력 향상에 있어 뚜렷한 성능 향상을 보였다.
• 다른 소스에서 온 학습 데이터 사이에 강한 도메인 이탈이 존재한다—LaTeX 기반 표에서 훈련된 모델은 Word 기반 표에서는 성능이 떨어지며, 반대로도 마찬가지다.
• 소스 코드(Word 및 LaTeX)에서 약화된 감독 학습을 활용하면 인간 레이블 없이도 대규모 정확한 학습 데이터를 생성할 수 있어 비용을 절감하고 확장성 향상이 가능하다.
• Faster R-CNN 및 이미지-텍스트 시퀀스 모델을 활용한 베이스라인 모델은 TableBank에서 뛰어난 성능을 보였으며, 이는 데이터셋이 강력하고 일반화 능력이 뛰어난 모델을 훈련시키는 데 유용함을 입증한다.
• 결과는 데이터 다양성과 규모가 모델 일반화 능력 향상에 결정적인 역할을 한다는 점을 강조하며, 향후 표 분석 분야의 발전은 이러한 대규모 개방형 기준 데이터셋에 의존할 것임을 시사한다.