[论文解读] Deep Structured Feature Networks for Table Detection and Tabular Data Extraction from Scanned Financial Document Images

Siwen Luo, Mengting Wu+3 more|arXiv (Cornell University)|Feb 20, 2021

Handwritten Text Recognition Techniques参考文献 10被引用 6

一句话总结

本文提出了一种新颖的端到端框架，用于从扫描的财务PDF文档中自动检测表格并提取表格数据。该框架首先使用带有特征金字塔网络（FPN）的Faster R-CNN进行表格区域检测，随后采用结合OCR与正则表达式的规则化布局分割技术，实现结构与内容的提取。主要贡献包括：构建了一个新的标注财务文档数据集、训练出高性能的检测模型，以及设计了一个可扩展的规则化数据提取流水线。

ABSTRACT

Automatic table detection in PDF documents has achieved a great success but tabular data extraction are still challenging due to the integrity and noise issues in detected table areas. The accurate data extraction is extremely crucial in finance area. Inspired by this, the aim of this research is proposing an automated table detection and tabular data extraction from financial PDF documents. We proposed a method that consists of three main processes, which are detecting table areas with a Faster R-CNN (Region-based Convolutional Neural Network) model with Feature Pyramid Network (FPN) on each page image, extracting contents and structures by a compounded layout segmentation technique based on optical character recognition (OCR) and formulating regular expression rules for table header separation. The tabular data extraction feature is embedded with rule-based filtering and restructuring functions that are highly scalable. We annotate a new Financial Documents dataset with table regions for the experiment. The excellent table detection performance of the detection model is obtained from our customized dataset. The main contributions of this paper are proposing the Financial Documents dataset with table-area annotations, the superior detection model and the rule-based layout segmentation technique for the tabular data extraction from PDF files.

研究动机与目标

• 解决由于噪声和结构不一致导致的扫描财务文档图像中表格数据提取不准确的问题。
• 通过确保提取表格的结构完整性和语义正确性，提升金融领域数据提取的可靠性。
• 开发一种可扩展且鲁棒的方法，用于从复杂且嘈杂的财务文档布局中提取结构化表格数据。
• 创建一个带有精确表格区域标注的新基准数据集，以支持未来在财务文档分析领域的研究。
• 在提取流水线中集成规则化过滤与重构机制，以提升准确性和可扩展性。

提出的方法

• 采用带有特征金字塔网络（FPN）的Faster R-CNN，通过改进的多尺度特征表示，提升在扫描财务文档图像中检测表格区域的性能。
• 对检测到的表格区域应用OCR，提取文本内容和布局信息，用于后续处理。
• 采用复合式布局分割技术，结合OCR结果与手工设计的正则表达式规则，将表格标题与内容分离。
• 设计基于规则的过滤与重构模块，以纠正结构不一致问题，提升数据提取过程中的保真度。
• 利用标注的财务文档数据集进行检测模型的训练与评估，确保模型在领域内的泛化能力。
• 将检测与提取流水线整合为统一框架，实现对PDF文档的端到端处理。

实验结果

研究问题

• RQ1 与基线方法相比，所提出的Faster R-CNN结合FPN的模型在检测扫描财务文档图像中的表格区域方面效果如何？
• RQ2 使用OCR与正则表达式进行规则化分割，在多大程度上能提升表格标题与内容分离的准确性？
• RQ3 所提出的流水线在从嘈杂的扫描财务文档中提取结构化表格数据方面的表现如何？
• RQ4 将规则化过滤与重构机制集成到流水线中，是否能显著提升表格数据提取的可扩展性与可靠性？
• RQ5 使用领域特定的标注数据集对表格检测与提取模型的性能有何影响？

主要发现

• 所提出的Faster R-CNN结合FPN在新创建的财务文档数据集上实现了卓越的表格检测性能。
• 基于规则的布局分割技术有效利用OCR输出与正则表达式，成功将表格标题与内容分离。
• 规则化过滤与重构功能的集成显著提升了提取表格数据的结构正确性与一致性。
• 所提出的框架在处理多样化财务文档布局时表现出高度可扩展性，且人工干预极少。
• 创建并发布了带有精确表格区域标注的财务文档数据集，为未来财务文档分析研究提供了宝贵的基准。