[论文解读] Global Table Extractor (GTE): A Framework for Joint Table Identification and Cell Structure Recognition Using Visual Context

Xinyi Zheng, Doug Burdick+3 more|arXiv (Cornell University)|May 1, 2020

Handwritten Text Recognition Techniques参考文献 42被引用 12

一句话总结

本文提出全局表格提取器（GTE），一种基于视觉的框架，通过利用视觉上下文联合检测表格并识别单元格结构，改进了现有目标检测模型。该方法通过强制实施表格级包含约束并利用分层单元格检测，显著提升了性能。GTE在ICDAR 2013和2019基准上达到最先进水平，在FinTabNet上的单元格结构识别性能相比RetinaNet基线提升超过45%。

ABSTRACT

Documents are often used for knowledge sharing and preservation in business and science, within which are tables that capture most of the critical data. Unfortunately, most documents are stored and distributed as PDF or scanned images, which fail to preserve logical table structure. Recent vision-based deep learning approaches have been proposed to address this gap, but most still cannot achieve state-of-the-art results. We present Global Table Extractor (GTE), a vision-guided systematic framework for joint table detection and cell structured recognition, which could be built on top of any object detection model. With GTE-Table, we invent a new penalty based on the natural cell containment constraint of tables to train our table network aided by cell location predictions. GTE-Cell is a new hierarchical cell detection network that leverages table styles. Further, we design a method to automatically label table and cell structure in existing documents to cheaply create a large corpus of training and test data. We use this to enhance PubTabNet with cell labels and create FinTabNet, real-world and complex scientific and financial datasets with detailed table structure annotations to help train and test structure recognition. Our framework surpasses previous state-of-the-art results on the ICDAR 2013 and ICDAR 2019 table competition in both table detection and cell structure recognition with a significant 5.8% improvement in the full table extraction system. Further experiments demonstrate a greater than 45% improvement in cell structure recognition when compared to a vanilla RetinaNet object detection model in our new out-of-domain FinTabNet.

研究动机与目标

• 为解决从缺乏本征结构编码的PDF和扫描图像中重建逻辑表格结构的挑战。
• 通过利用视觉上下文和全局表格样式线索，提升表格检测与单元格结构识别性能。
• 构建大规模、高质量的数据集，包含详细的单元格级标注，用于训练和评估表格结构识别模型。
• 开发模块化、可适配的框架，可与现有目标检测器和OCR流水线集成。
• 在多种文档类型中，超越现有最先进方法，在表格检测与结构识别两方面均实现性能突破。

提出的方法

• GTE-Table提出一种基于自然包含约束的新惩罚损失：单元格必须位于表格内，且表格必须包含多个单元格。
• GTE-Cell采用分层检测网络，先全局分类表格样式，再对不同样式应用专用检测器，以提升单元格定位精度。
• 基于单元格聚类的算法将检测到的边界框分组为逻辑行与列，实现准确的单元格结构重建。
• 框架采用多阶段训练流程：首先训练表格样式分类器；随后使用同一样式分布的数据对表格和单元格检测器进行微调。
• 采用弱监督数据标注方法，自动在现有文档上生成单元格级标注，支持大规模预训练。
• 系统通过在科学论文（PubTabNet）和财务文件（FinTabNet）等特定领域数据上微调，支持迁移学习。

实验结果

研究问题

• RQ1 强制实施全局表格包含约束是否能提升联合表格检测与单元格结构识别性能？
• RQ2 基于表格样式的分层检测是否能比通用目标检测器带来更好的单元格定位效果？
• RQ3 弱监督标注方法是否能生成足够高质量的训练数据以支持复杂表格结构的学习？
• RQ4 该框架在风格与训练数据不同的域外数据集（如财务文件）上表现如何？
• RQ5 所提框架在表格检测与结构识别两方面超越现有最先进方法的程度如何？

主要发现

• GTE在ICDAR 2013表格检测与结构识别基准上达到最先进性能，优于以往方法。
• 在ICDAR 2019竞赛中，GTE在表格边框检测上取得加权F1为94的优异表现，与顶尖方法相当，且精度与召回率均很高。
• 在FinTabNet上的单元格结构识别中，GTE将TEDS从基线的41.57提升至87.14（未经微调），经微调后进一步提升至91.02。
• GTE在FinTabNet上相比原始RetinaNet基线，单元格结构识别性能提升超过45%，展现出对域外数据的强大泛化能力。
• 经增强的PubTabNet（含单元格级标注）达到TEDS 93.01，显著优于原始分数88.38。
• 该框架对标注模糊性具有鲁棒性，对于复杂表格的结构识别，IOU=0.1比IOU=0.9提供更可靠的评估指标。