[论文解读] Deep learning for table detection and structure recognition: A survey

Mahmoud SalahEldin Kasem, Abdelrahman Abdallah+7 more|arXiv (Cornell University)|Nov 15, 2022

Handwritten Text Recognition Techniques被引用 7

一句话总结

本综述对文档图像中表格检测与结构识别的深度学习方法进行了全面分析，系统性地对方法、数据集和开源实现进行分类。它展示了在基准数据集上的最先进性能，并指出了在自动表格理解方面面临的关键挑战与未来研究方向。

ABSTRACT

Tables are everywhere, from scientific journals, papers, websites, and newspapers all the way to items we buy at the supermarket. Detecting them is thus of utmost importance to automatically understanding the content of a document. The performance of table detection has substantially increased thanks to the rapid development of deep learning networks. The goals of this survey are to provide a profound comprehension of the major developments in the field of Table Detection, offer insight into the different methodologies, and provide a systematic taxonomy of the different approaches. Furthermore, we provide an analysis of both classic and new applications in the field. Lastly, the datasets and source code of the existing models are organized to provide the reader with a compass on this vast literature. Finally, we go over the architecture of utilizing various object detection and table structure recognition methods to create an effective and efficient system, as well as a set of development trends to keep up with state-of-the-art algorithms and future research. We have also set up a public GitHub repository where we will be updating the most recent publications, open data, and source code. The GitHub repository is available at https://github.com/abdoelsayed2016/table-detection-structure-recognition.

研究动机与目标

• 为文档图像中的表格检测与结构识别提供一种系统性的深度学习方法分类体系。
• 分析最先进模型在 ICDAR-2013、ICDAR-2017-POD、ICDAR-2019 和 UNLV 等主要基准数据集上的性能表现。
• 整理并组织公开可用的数据集、模型与源代码，以支持可复现性与未来研究。
• 识别当前在表格检测与结构识别中的局限性以及新兴趋势，特别是处理复杂版式和跨领域泛化能力方面的问题。
• 通过评估目标检测与结构识别流程，为研究人员和实践者提供有效系统设计的指导。

提出的方法

• 基于网络架构与训练范式，使用系统性分类法将现有方法划分为表格检测与结构识别两个子任务。
• 在 ICDAR-2013、ICDAR-2017-POD、ICDAR-2019 和 UNLV 等广泛使用的基准上，使用标准指标（如精确率、召回率、F1 分数和交并比 IoU）评估方法性能。
• 调研用于表格检测的深度学习框架，如 Faster R-CNN、YOLO、RetinaNet 和全卷积网络（FCNs），以及用于结构识别的序列模型或基于 CNN 的架构。
• 分析迁移学习、数据增强与后处理技术在提升检测与识别准确率方面的作用。
• 将目标检测与结构识别流程整合为统一框架，实现端到端的表格理解。
• 托管并维护一个公开的 GitHub 仓库，汇集数据集、模型与源代码的精选链接，支持持续更新与社区贡献。

实验结果

研究问题

• RQ1 现代表格检测与结构识别系统中，主流的深度学习架构与训练策略是什么？
• RQ2 在 ICDAR-2013、ICDAR-2017-POD、ICDAR-2019 和 UNLV 等标准基准上，不同模型在精确率、召回率与 F1 分数方面的表现如何？
• RQ3 在检测具有复杂版式、格式多变及低质量扫描图像的表格时，面临哪些关键挑战？
• RQ4 在端到端表格理解流程中，目标检测与结构识别组件之间如何相互作用？
• RQ5 在该领域推进研究方面，最有效的开源框架、数据集与实现实践是什么？

主要发现

• 最先进表格检测模型在基准数据集上已实现接近完美的性能，例如在 ICDAR-2013 上使用 CascadeTabNet 和 SciTSR 等目标检测方法的 F1 分数超过 95%。
• ICDAR-2019 数据集更具挑战性，KA Hashmi 方法的最佳 F1 分数达到 95.46%，表明在复杂版式中仍存在持续挑战。
• 结构识别仍是主要瓶颈，X. Zheng 方法报告的最佳 F1 分数仅为 54.8%，凸显在单元格分割与版式解析方面仍有巨大改进空间。
• 全卷积网络（FCNs）与端到端可训练模型展现出潜力，但与检测任务相比仍表现欠佳，尤其在不规则或密集表格数据集上。
• 开源实现主要基于 PyTorch 与 TensorFlow，GitHub 项目如 PubTabNet 和 TableBank 有效支持了可复现性与模型微调。
• 尽管检测精度较高，但结构分割与数据提取仍不稳定，尤其在复杂表格数据集上，表明需要更优的版式建模与泛化能力。